1

Compensention de défaut (p. ex. flou de mise au point, bougé)

Flou de mise au point : amplifier les hautes fréquences

PB : amplification du bruit : il faut un compromis

Stratégie : autoriser l’amplification dans les régions où les fluctuations sont assez importantes et modifier le moins possible les régions « lisses »

essayer de définir un critère de qualité (local) qui dépend des pixels voisins et faire des modifications qui maximisentce critère

2

3

scène = image« parfaite »inconnue

déformation(modéliséepar un filtrelinéaire

bruit additif inconnu

(convolutioninconnue H(z))

(convolution inverse 1/H(z))réponse impulsionnelle longuemodèle de filtre récursif :problème de conditions initiales d’instabilité

compensation

evaluation du bruitafin de le soustraire

nécessité de prendre en compteles caractéristiquesstatistiques de l’imagep.ex. régions lisses,zones de contours

compensation de défaut : flou, bougé, écho

imagemesurée

4

scène estimée

filtre estimé

caractéristiques du bruit

compensation de défaut : flou, bougé, écho

imagemesurée

différence

g(x,y)=f(x,y)*h(x,y)+b(x,y)imagedéforméemesurée

scènethéoriqueinconnue

convolutionpar une déformationréponse impulsionnelle hinconnue

bruit de mesure

b(x,y)

g(x,y)

h(x,y)f(x,y)

5

Compensation du bougé : Appliquer le filtre inverse

),(

),(argexp

vuH

vuH

Dans le domaine spatial : Filtre récursif bidimensionnelPB : gérer la stabilité et les conditions aux bords

Dans le domaine fréquentiel : gérer les divisions par des amplitudes petites

Apparition d’oscillations parasites

Stratégie : modifier (lissage du spectre qui est moins informatif)rechercher les régions lisses et forcer leur conservation

),( vuH

),( vuH

6A

Réponse impulsionnelle estimée du « bougé »

Module de laRéponse enfréquence

7

filtre « bougé » RIF 1. filtre compensateur RIF

),( vuH),(),( vuHvuH

),( yxh),( yxh

22),(

1

vuH

2. Filtre récursifsans déphasageApplication dansle domaine des fréquences avecatténuation desoscillations parasites

1),(

),().,(

2

vuH

vuHvuH

car

8

yx

yxhyyxxf,

)','()','(

),( yxw

),( yxg

),( yxf

convolution et addition de bruit

),(),().,(),( vuWvuHvuFvuG

dans le domaine des fréquences

9

si on a une estimation de h(H) et de W

),(.),(

),(),(

),(

),(),(),(

2vuH

vuH

vuWvuG

vuH

vuWvuGvuF

comment estimer H et W ?

yx

yxhyyxxg,

)','()','(

FIR h(-x,-y)filtre recursif non causal

10http://www.cse.cuhk.edu.hk/~leojia/projects/motion_deblurring/index.html

reconstruction de la scène par filtrage inverse

le filtre inverse n’est pas stable ; dépendance très forte des conditionsaux limites

)2().2()1().1()()( xfaxfaxfxg

exemple à une dimension

)().()( zAzFzG

)2().2()1().1()()( xfaxfaxgxf )(

)()(

zA

zGzF

défaut de bougé : filtre à réponse impulsionnelle finie

reconstruction filtrage inverse récursif

11

12

13

réponse impulsionnelle réponse en fréquence (échelle logarithmique)

14meda meda1 2 128

15

meda meda1 3 128

16

le filtre RIF « bougé » peut avoir des zéros ; le filtre inverse amplifieconsidérablement les composantes du bruit à ces fréquences

17

),(log vuH ),(log vuH

Amplification de certaines composantes fréquentielles Apparition d’artefacts

18

DéphasageQu’il fautcompenser

analyse dansle domainedes fréquences

u

v

19

trouver un filtre qui compense (de manière pertinente) les zéros de la réponse en fréquence du bougé

analyse dans le domaine des fréquences (suite)

u

v

20

cas du flou de mise au point : filtre à réponse impulsionnellesymétrique ; pas de déphasage (possibilité de saut de phase de pi) :il n’y a qu’un rehaussement sélectif de composantes fréquentielles

bougé : rotation ou translation ; pb de l’invariance spatialel’effet n’est pas tout à fait le même sur un objet lointain(cf. vision stéréo)

problèmes liés à la quantification de l’image par exemple la saturation

limitations du modèle « filtre linéaire »

21

)().()).,(()),(( ,,,,,,,, yxyxyxyxyxyxyxyx fphpfhgpgfhp

approche probabiliste fondée sur la règles de Bayes(probabilités conditionnelles et prise en compte de l’indépendance)

)(

)&()(

bp

bapbap

probabilitédu bruit sur l’imagecas le plus simplebruit blanc gaussien

probabilitéde la réponseimpulsionnelledu bougé

probabilitéde la scène photographiée

approche efficace dans de nombreux types d’applications (p. ex. Markov)

22http://www.cs.unc.edu/~lazebnik/research/fall08/lec05_deblurring.pdf

augmenter le nb de pixels oùle gradient est faible, et là où ilest fort

réduire le nombre de ceux où il estmoyen (en particulier pour renforcerle gradient dans un pixel voisin)

MAIS TENIR COMPTE DU VOISINAGE !

23

approche nécessitant une analyse locale finequels sont les pixels où on veut amincir le contour ?

quelle direction de contour faut il conserver ?

dans quelles parties de l’image faut il éviter d’augmenterles fluctuations (régions très lisses ou texturées)

24

autres éléments plus ou moins pris en compte :il y a plus de hautes fréquences, les contours étant mieux marqués

25

attention aux effets indésirables !

le fait d’augmenter les hautes fréquences à deseffets contreproductifs dans certaines régions de l’image

26

estimer la réponse impulsionnelle du filtre modélisant le bougé

on a une estimation de la scène f(x,y)

minimisation de l’écart entre les deux images

yx

yxhyyxxfyxg,

2)','()','(),(

l’imagemesurée l’image bougée prédite

27

estimer la réponse impulsionnelledu filtre modélisant la déformation« h(x,y) »

coupe

28http://www.cse.cuhk.edu.hk/~leojia/projects/motion_deblurring/index.html

High-quality Motion Deblurring from a Single ImageQi Shan, Jiaya Jia, and Aseem Agarwala

29

http://www.cse.cuhk.edu.hk/~leojia/projects/motion_deblurring/index.html

reconstruction de la scène par filtrage inverse

le filtre inverse n’est pas stable ; dépendance très forte des conditionsaux limites

« forcer » les conditions aux limites afin de limiter les défauts

dans les régions où le gradientest faible, il n’y a pas lieu de modifierl’image ; on fait l’hypothèse que le bruitprésente des caractéristiques différentesdans les deux types de régions

30

Et quand on ne connaît pas la réponse impulsionnelle du bougé ?

Partir d’une estimation de cette réponse impulsionnelle (approche interactive)Et optimiser le critère

Définir un critère dont l’optimisation conduira à l’amincissement des contours où le gradient est important sans modifier les régions lisses

31

High-quality Motion Deblurring from a Single ImageQi Shan, Jiaya Jia, and Aseem Agarwala

g(x,y)=f(x,y)*h(x,y)+b(x,y)imagedéforméemesurée

imagethéoriqueinconnue

convolutionpar une déformationréponse impulsionnelle hinconnue

bruit de mesure

32

critère à minimiser

|écarts pondérés entre les dérivées spatiales (ordre 1 et 2) de f*h et de g|

+ terme de pénalisation fonction du gradient de l’image f en chaque pixel(caractérisant le modèle de bruit sur l’image)

+ dans les régions « lisses » où h n’a pas d’effet|écarts entre les dérivées spatiales (ordre 1) de f et g|

sommation pour tous les échantillons

1

2

4

+|h| (importance du bougé)

3

cf : régularisation de Tikhonov

33

approche itérative

nouvelle estimation de f(x,y) parfiltrage inverse prenant en compteles caractéristiques statistiquesdu bruit, de la scène à reconstruireet de la réponse impulsionnelledu bougé (critère max de vraisemblance);

nouvelle estimation du filtreh(x,y) minimisant l’écartentre l’image bougée etsa prédiction

taille du filtre modélidant le bougé

domaine où il faut trouverles bonnes conditions initialespour effectuer le filtrage inverse

34http://www.cse.cuhk.edu.hk/~leojia/projects/motion_deblurring/index.html

régions d’intensité constante :lisser le plus possible

zones de contours : augmenter lecontraste

35

approche simplifiée lorsque l’image peut être modéliséeen régions d’intensité fluctuant lentementet convoluée avec la réponse impulsionnelledu bougé

36

Image floue

BlurredImage

.

Comment représenter cette image comme d’une image nettefiltrée par un bougé

SourceImage

.

Blurdecalé

.

Régions d’intensités lentement variables et au contours nets bougé

37

tenter de repérer des régions uniforme, constantes ou d’intensité variantlentement par exemple ici le fond, les touches, les signes et les marquer manuellement

On ne cherche pas un processusautomatique mais supervisé : Estimer une première

approximation du bougé

Faire une première découpe d’une estimation de l’image ‘nette’ en régions

ROUGE

38

BLEUVERT

Image nette

Un aperçu de la décompositionen régions de l’image nette

L’image floue captéeLa réponse impulsionnelleapproximative du bougé

39

Image nettemodélisée

1. Décomposition de l’image nette en régions

2. Dans chaque région l’image nette estreprésentée par un modèle paramétrique

Modélisation :

Bougé caractérisé par sa réponse impulsionnelle

Image floue

nm

nmnymxyx BougéIMNetteIMFloue,

,,,

nm

nymxnmyx BougéIMNetteIMFloue,

,,,

(commutativité de la convolution)

convolution

Dans l’image nette Comme son nom l’indiqueLes contours sont bien marqués

),(),( yxrégionyxsi k),,(, yxafonctionIMNette kyx

Modèleduparamètresdesvecteurleestak

La fonction est une fonction linéaire des composantes de ka

),(.),( ,, yxfayxf kkk

40

On dispose d’une estimation de la réponse impulsionnelle du bougéet d’un modèle paramétrique des régions de l’image nette

Modification des paramètresdes régions

Réassignation aux régions des pixels sur les frontières entre régions

Image nettemodélisée

Bougé caractérisé par sa réponse impulsionnelle

Image floue

convolution

Écart

Estimation du bougé

Estimation de l’image nette

Les modifications ont pourObjectif de réduire l’écartEntre l’image nette bougéeEt l’image floue mesurée

41

Modification of the regionsparameters

Modification of the regions contours

Source imagemodel

Blur characterized byits impulse response

Measured blurred Image

convolution

Discrepancy

Estimation of the blur

Estimation ofthe source image

The object of the different modificationIs to reduce the discrepancy betweenThe Source image convolved by The blur impulse responseAnd the measured blurred image

42

yx nmnymxnmyx BougéIMNetteIMFloueMinimiser

,

2

,,,,

yx nmnmnymxyx BougéIMNetteIMFloueMinimiser

,

2

,,,,

Réactualisation de l’image nette

Réactualisation du bougé

Modification des paramètresdes régions

Réassignation aux régions des pixels sur les frontières entre régions

Critère quadratique et modèles linéaires de l’imageNette et du Bougé

43

yx nmnymxnmyx BlurSourceIMBlurredIMMinimize

,

2

,,,,

yx nmnmnymxyx BlurSourceIMBlurredIMMinimize

,

2

,,,,

Source Image update

Blur Impulse response update

Region parameters Update Regions contours update

Blurred image prediction based on linear filtering of the source image by the blur impulse response and quadratic criterion minimization

44

1. Selection of the regions k where the intensity is to be improvedThe intensity function in region k is a linear combination of basis function

The blurred image includes the subtraction of the blurring dueto the regions that will not be modified at this stage of the procedure

2. Computation of the blur due to the basis function (convolution of by the blur

),(.),( ,, yxfayxf kkk

),( yxg

','

,, )','().','(),(yx

kk yxfyxhyxg

)','(, yxfk

)','( yxh

3. Computation of the covariance matrix yx

kkkk yxgyxgr,

',',',',, ),().,(

and of the vector yx

kk yxgyxgv,

,, ),().,(

,','

','',',, . kr

kkk var 4. Solution of

Update of the intensity of the regions

45

Update of the blur

1. Computation of the source image (including all the regions)

),(.),(),( ,, yxfayxfyxf kkk

k

2. Computation of the covariance matrix and of the vector

yx

yyxxfyyxxfyxyxs,

)','().'',''()'','',','(

The summations performed on all the pixels where the effect of the blur is taken into account

),( yx

yx

yyxxfyxgyxw,

)','().,()','(

3. Solution of

)'',''()'',''().'','',','('',''

yxwyxhyxyxsyx

46

Modification of the regions supports(under control of the supervisor)

1.Computation of the optimal intensity of one pixel in the source imageafter the subtraction in of all the blur due to the other pixels of the source image

2.1. Either Possible assignation of the pixel to the neighbouring region wherethe intensity is close to it

2.2. Or creation of a new regions with its own parameters

),( yxg),( 00 yxf

yxyx

yyxxhyxgyxfyyxxh,

0000,

002 ),(),(),(.),(

(A similar form of modification can be applied to the blur function)

47

Interdire ou (mieux … cf Shannon/Gibbs) pénaliser les pixels d’intensité négativedans la réponse impulsionnelle du flou et éventuellement dans l’image nette

Certaines régions peuvent se réduire à un seul pixel (transitions, bruit …)

Mais il faut tout de même qu’il y ait des régions faciles à modéliserpar une représentation paramétrique et limitées par des frontières nettes

Remarques

48

blur deblurdec 0.5 50

Image bougée(astronome amateur)

Estimationdu bougé

déconvolution

Compensation de bougé

49

les points vus dans le cours2. filtrage, convolution, analyse en fréquencesinusoïdes 2D, propriétés de la TF, échantillonnage

3.1. contours

transformée de houghcontours actifs

4. imagerie en biomédical tomographie irm : analyse en fréquence+ échographie propagation d’ondes, stéréovision, interférométrie

5. reconnaissance de formes statistique et structurelle reconnaissance de visages + point approfondi théorie de la décision

6. traitement d’images en télédétection

morpho math k-means

3.2.régions

7. amélioration d’imagesproblèmes de filtrage inverse nécessité de régularisation

les

base

s

surv

ol d

e qu

elqu

es

type

s d’

appl

icat

ions

champs de Markov, textures, analyse fréquentielle

omission : compression d’images (option VIM)