Informatique visuelle - vision par ordinateur Extractions de … · 2015. 3. 17. · Informatique...

Preview:

Citation preview

Informatique visuelle - vision par ordinateur

Extractions de caracteristiques - les contours

Elise Arnaud

elise.arnaud@imag.fr

cours inspire par X. Descombes, J. Ros, A. Boucher, A. Manzanera, E. Boyer, M Black, J.H. Thomas

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detection de contours

etape preliminaire a de nombreuses applications de l’analyse

d’images

les contours constituent des indices riches, au meme titre que

les points d’interets, pour toute interpretation ulterieure de

l’image

Les contours dans une image proviennent des :

discontinuites de la fonction de reflectance

discontinuites de profondeur

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detection de contours

Les contours sont caracterises par des discontinuites de la

fonction d’intensite

Exemple de differents types de contours : rampe, toit et

pointe :

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detection de contours

methode en deux etapes :

la premiere permet de localiser les contours a partir d’un

calcul de Gradient ou de Laplacien dans des directions

privilegiees tout en quantifiant l’importance du contour.

La seconde etape va permettre d’isoler les contours du reste

de l’image a partir d’un seuillage judicieux.

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Rappel derivees

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Rappel derivees

cJean-Hugh THOMAS

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detection de contours

⇒ etude des derivees de la fonction d’intensite dans l’image

la fonction d’intensite au voisinage d’un contour en rampe et

ses derivees premiere (gradient) et seconde (laplacien).

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detection de contours⇒ etude des derivees de la fonction d’intensite dans l’image

les extrema locaux du gradient de la fonction d’intensite

les passages par zero du laplacien

difficulte : la presence de bruit dans les images

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Gradient de l’image - Etude du signal en 1D

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Gradient de l’image - Etude du signal en 1D

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Gradient de l’image - Etude du signal en 1D

Le signal de Barbara et sa derivee premiere

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Gradient de l’image - Etude du signal en 1DLe signal de Barbara et sa derivee premiere : amplitude des

perturbations

signal lisse derive premiere

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Derivee premiere de l’imageRappel : l’image est une fonction

I : S → Ω

(x, y) → I(x, y)

gradient de l’image : vecteur qui represente la variation de la

fonction dependant de plusieurs parametres par rapport a la

variation de ces differents parametres.

∇I =

∂I(x, y)

∂x,∂I(x, y)

∂y

t

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Gradient de l’image

∇I =

∂I(x, y)

∂x,∂I(x, y)

∂y

t

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Gradient de l’image

- le gradient est un

vecteur perpendiculaire

au contour - l’amplitude

du gradient mesure la

force du contour

Le gradient est caracterise par un module m et une direction φ

dans l’image :

m =

∂I(x, y)

∂x

2

+∂I(x, y)

∂y

21/2

φ = arctan

∂I(x, y)

∂y/∂I(x, y)

∂x

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Gradient de l’image

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Gradient de l’image

La qualite du gradient se degrade avec l’accroissement du bruit :

Le gradient d’une image filtree :

∇I(x, y) = ∇(I(x, y)∗h(x, y)) = ∇I(x, y)∗h(x, y) = I(x, y)∗∇h(x, y).

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detection de contours - Approche gradient

Approche 1 : par seuillage du gradient

les points de contour dans une image sont caracterises par des

extrema locaux du gradient. Une premiere approche consiste donc

a :

1. calculer la norme du gradient en tous point de l’image,

2. selectionner les pixels a l’aide d’un seuil fixe a priori pour lanorme du gradient.

pbl : ne permet pas de differencier efficacement les points de

contour du bruit.

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Gradient de l’image - implementation

Derivation par difference finies

Une image est discrete par nature. Les premieres approches ont

donc consiste a approximer les derivees par difference :

∇xI(x, y) = I(x, y)− I(x− n, v)

ou :

∇xI(x, y) = I(x+ n, y)− I(x− n, y)

avec, en general n = 1.Ces derivees sont calculees par convolution de l’image avec un

masque de differences.

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Gradient de l’image - implementation

cJean-Hugh THOMAS

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Gradient de l’image - implementation

Proposez un masque pour detecter les contours diagonaux

(operateurs de Roberts (1962))

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Gradient de l’image - implementation

Derivation par difference finies - Operateurs de Prewitt et de Sobel

h1 = 1/(c+2)

−1 0 1−c 0 c

−1 0 1

h2 = 1/(c+2)

−1 −c −10 0 01 c 1

c=1 : operateur de Prewitt

c=2, operateur de Sobel.

ces masques effectuent un lissage dans la direction

orthogonale. Ce lissage rend ces masques un peu moins

sensibles au bruit que les precedents.

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Rappel filtres separables

Une reponse impulsionnelle h est separable selon x et y ssi :

h(x, y) = hx(x).hy(y)

Ce qui se traduit pour le filtrage d’une image par :

I(x, y) = h(x, y) ∗ I(x, y) = hy(y) ∗ (hx(x) ∗ I(x, y))

Avantages d’un filtre separable

Le filtrage d’un signal 2D est ramene au filtrage d’un signal 1D

reduction du temps de calcul : pour une convolution par un

masque de filtrage de dimension H, la complexite est de 2Hau lieu de H

2

Possibilite d’implementer recursivement le filtrage

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Gradient de l’image - implementation

Operateurs de Prewitt et de Sobel separables

h1 = 1/(c+ 2)

−1 0 1−c 0 c

−1 0 1

= 1/(c+ 2)

1c

1

−1 0 1

h2 = 1/(c+2)

−1 −c −10 0 01 c 1

= 1/(c+2)

−101

1 c 1

filtres isotropes ou anisotropes ?

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detection de contours - Approche gradient

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detection de contours - Approche gradient

Approche 1 : par seuillage du gradient

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detection de contours - Approche gradientApproche 1 : par seuillage du gradient

possibilite de calculer le seuil en tenant compte de l’histogramme

du module du gradient

cJean-Hugh THOMAS

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detection de contours - Approche gradient

Approche 2 : par recherche de maxima et seuillage par hysteresis

(1) Extraction des extrema locaux du gradient dans la direction

du gradient. Cela revient a determiner, pour un pixel p donne,

les valeurs du gradient sur la droite passant p et de direction

celle de son gradient. On verifie ensuite que le gradient en p

est bien localement maximal sur cette droite.

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detection de contours - Approche gradient

Approche 2 : par recherche de maxima et seuillage par hysteresis

(2) Seuillage par hysteresis des extrema. Cette etape repose sur

une hypothese de connexite. Le principe est d’utiliser deux

seuils pour la norme du gradient : sb et sh et de selectionner

les pixels pour lesquels :

1. la norme du gradient est superieure a sh,

2. le pixel donne est connecte, par un chemin constitue de pixels

dont la norme du gradient est superieure a sb, a un pixel pour

lequel la norme du gradient est superieure a sh.

remarque : en general, on prend sh/sb = 2

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detection de contours - Approche gradient

Approche 2 : par recherche de maxima et seuillage par hysteresis

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detection de contours - Approche laplacien

Les points de contour sont caracterises par des passages par zero

du laplacien. La detection de ces points s’effectue en deux etapes :

1. Detection des passages par zeros. Les pixels pour lesquels le

laplacien change de signe sont selectionnes.

2. Seuillage des passages par zeros de fortes amplitudes.

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Derivees secondes de l’image : Laplacien

derivees secondes ∂2I∂x2

∂2I∂x∂y

∂2I∂y∂x

∂2I∂y2

laplacien de l’image : somme des derivees secondes non mixtes

I = ∇2I =

∂2I

∂x2+

∂2I

∂y2

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Derivees secondes de l’image : Laplacien

L’estimation du laplacien d’une image se fait de la meme maniere

par convolution de l’image avec un masque. Le laplacien est

approche par differences finies :

0 0 01 −2 10 0 0

+

0 1 00 −2 00 1 0

=

0 1 01 −4 10 1 0

ou :

1 1 11 −8 11 1 1

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Derivees secondes de l’image : Laplacien

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Derivees secondes de l’image : Laplacien

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detection de contours - Approche laplacien

Si > 0 et l’un des autres i ≤ 0 ou < 0 et l’un des autres

i ≥ 0 alors on considere qu’il ya changement de signe.

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detection de contours - Approche laplacien

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detection de contours

detecteur de contours de Canny

detecteur de contours de Deriche

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Informatique visuelle - Vision par ordinateur

Extractions de caracteristiques - les pointsd’interet

Elise Arnaudelise.arnaud@imag.fr

cours inspire par X. Descombes, J. Ros, A. Boucher, A. Manzanera, E. Boyer, M Black, J.H. Thomas

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

une partie de ce cours est tiree de ...

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

!

"#$%&$'()*+%*&,-,&$#-'.$'/0%.

! !"#*1*'+%)$'2'%-*+%.*&,-,&$#-'.$'/0%.*-(30.$%.*+,).*45'6,7%*8(0-*6'.%*%)*&(--%.8()+,)&%*9:";<*-%&()),'..,)&%<*.0'='*96(0=%6%)$;<*>

! ?)*&@%-&@%*.(0=%)$*A*$%&#'()*+),'-.'/#+#&0/*9.(0-&%*+5%--%0-.;*%)*'+%)$'2',)$*+5,0$-%.*&,-,&$#-'.$'/0%.

!"#$%&'(')*+',*--.&/',"0&('1&2-#$&3/'4567

!

"#$%#&$%#'()*+,-#.'.*+*/,*&#.

"#0&123#&'(#.'*+,-#.'$140#4,40'24'-&,55*0*

!"#$%&'(')*+',&-./'012&%3'4&3&%3-"+'*+.',&%"5+-3-"+/'067"$.'89:;<

!

"#$%&%'&()**%$+)',-'(%&,.#/-0%$

1%$&$(2'%$&$)'3&,#445*%'3%$&6-'07%&,%&89%:&;))/:&79/#2*%:&<=:&/-#$&)'&8%93&#,%'3#4#%*&,%$&575/%'3$&$%/>7->7%$<

!"#$%&'(')*+',&-./'012&%3'4&3&%3-"+'*+.',&%"5+-3-"+/'067"$.'89:;<

!

"#$%#&$%#'()*+,#-.'(/0.'1#.'23/4#.

5$26'$)#.-'1#'373#'/8-*+8.'3/14&9'1/'-/211#'(2::9&#0-#'#-'1#':/2-';8)21'.*2-'#0'</&-2#'$/$%9#'.8&'80#'23/4#=

!"#$%&'(')*+',&-./'012&%3'4&3&%3-"+'*+.',&%"5+-3-"+/'067"$.'89:;<

!

"#$%#&'(')*&+',-.)*+.)*/,#,/('#&)(&01.)

! !"#$%&'(*2*13.*/,#,/('#&)(&01.*-$/,-.*45)*6-$7,-.8*).#,*%-1)*#$71)(.*,19*$//-1)&$3)

! )*+$,&$*#-*2*:*-,*(#,3)-,(&$3;*-,*#$(,(&$3;*-.*/<,36.=.3(*+>'/<.--.;*???

! ."/01'-*2*,1*7#1&(;*,19*/$3+&(&$3)*+>,/01&)&(&$3*+.*->&=,6.;*:*-,*/$=%#.))&$3;*???

! 2&1#,&3&*$*'-*2*%.#=.(*+>&+.3(&@&.#*01.-01.)*$7A.()*)%'/&@&01.)*%,#=&*7.,1/$1%*+>,1(#.)

! 40$*'&'(*2*%$15$&#*6'3'#.#*7.,1/$1%*+.*/,#,/('#&)(&01.)*%,#*$7A.(*B*%$#(&$3*+>&=,6.)

! 5,(#&1&"**2*%$)&(&$3*%#'/&).*+,3)*->&=,6.*B*->$7A.(! 677&#$#&'(*2*/,-/1-*#,%&+.*4(.=%)*#'.-8

!"#$%&'(')*++&')#,-&.//$01'2"%/.'3+4/$*/+-'5&/-#$&0('67/-8'67,8'67&+8'9":81';<<='>??@A

! !

"#$%#&'('!)*&+,-#&-+./

! 0+,-#&-+./!1!2-!3'$4'(#&/! !"#$#%"&

! '($&)*+*&#,-./0(*11*

! 23$&45"3+$#%"&,$55%&*!

! 0+,-#&-+./!1!2-!%5$($4/(#&/! '($&)*+*&#,$55%&*,-.%&#*&4%#/!60!!!-!0!7!89

!"#$%&'(')$"*"+,'-'!./,0"+1'23+,$.,34')&,4#$&'5&4&%4"$6',37'5&6%$.84"$61'9&.:/,33'236;'<26$,&*=;

! !

"#$%&'(#)$*+(%&!,-()-*#+./0&

!"#$%&'(')*++&')#,-&.//$01'2"%/.'3+4/$*/+-'5&/-#$&0('67/-8'67,8'67&+8'9":81';<<='>??@A

! !

"#$%&'(#)$*+(%&!,-(*().*#+/01&

!"#$%&'(')*++&')#,-&.//$01'2"%/.'3+4/$*/+-'5&/-#$&0('67/-8'67,8'67&+8'9":81';<<='>??@A

! !

"#$#%&'()(%#!*+,!-.//+,$.0*&0-+,

1/(%2/+!*3#4&)5&%(.0!6!-.//+,$.0*&0-+,!+0%/+!(7&8+,

!"#"$%&'('$"!!)*++,-#*./%.),-

! /"$,)$"-""##$

0*1+),2324'..,2415$,(%%+-627*)%(28.9%+'%.$2:,%$1+,-32;<%$=2;<5=2;<,.=2>*?=62@AAB2CDDEF

! !

"#$!%&'()*+!&*,!-*./!'01(*,

2/*03&*!4!31)5+101

!"#$%&'(')$"*"+,'-'!./,0"+1'23+,$.,34')&,4#$&'5&4&%4"$6',37'5&6%$.84"$61'9&.:/,33'236;'<26$,&*=;

! !

"#$!%&'()'*+,!%(-!.+*,'-!)/0/)'&0*-'*12(-!%/,-!3(-!#!*4/5(-

67(4.3(!8!./,+0/4/

!"#$%&'(')$"*"+,'-'!./,0"+1'23+,$.,34')&,4#$&'5&4&%4"$6',37'5&6%$.84"$61'9&.:/,33'236;'<26$,&*=;

! !

"#$%&'$!(!&)*+,)%)

-./!0,+12$,!3$4!&)5,$4!3$!&+5*04!6+,,$4&+*3)*04

!"#$%&'(')$"*"+,'-'!./,0"+1'23+,$.,34')&,4#$&'5&4&%4"$6',37'5&6%$.84"$61'9&.:/,33'236;'<26$,&*=;

! !

"#$%&'$!(!&)*+,)%)

-./!011$%2'$,!'$1!3$4#!5%)6$1!&+4,!$*!7+,%$,!4*$!1$4'$

!"#$%&'(')$"*"+,'-'!./,0"+1'23+,$.,34')&,4#$&'5&4&%4"$6',37'5&6%$.84"$61'9&.:/,33'236;'<26$,&*=;

! !

! "#$%&'()!*!#+,$-.#)!/$!0!1" 2+3)43)#!&)!(5()!6$7/3!.8/,!&),!.)-9!7(8:),

!"#$%&'(##%)*+

#$%$&'()*)&$+,-.+%/)0&.

;9)(6&)!1!68/$#8(8

,(-.!+$/$0.(*(1"$2$,%&"3(14$561".%"67$0+"7-.+$8+7+!7(.#$"69$8+#!.%'7(.#4$:+%;&"66$56#<$=5#."+*><

! !

! "#$%&'()!*!#+,$-.#)!/$!0!1" "$-#!2345-)!6$7/89!8#$-:)#!&4!%$//)!2$##),6$/.4/2)

!

#$%&'()*$+','-.+%*$,$*,/(%&'(0(121*

;<)(6&)!1!64/$#4(4

!"#$%&'(')$"*"+,'-'!./,0"+1'23+,$.,34')&,4#$&'5&4&%4"$6',37'5&6%$.84"$61'9&.:/,33'236;'<26$,&*=;

Plan

detection de points d’interet

mise en correspondance de points

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Qu’est ce qu’un point d’interet ?

- contour : discontinuite dans une direc-tion de la fonction d’intensite ou de sesderivees - point d’interet : dans deux di-rections

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Qu’est ce qu’un point d’interet ?

Avantages des points d’interet :

Sources d’informations plus fiable que les contours car plus decontraintes sur la fonction d’intensite.

Robuste aux occultations (soit occulte completement, soitvisible).

Plus facile a extraire que les contours

Presents dans une grande majorite d’images ( = contours !).

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detection de points d’interetDifferentes approches

1. Approches contours : detecter les contours puis extraction despoints d’interets le long des contours en considerants lespoints de courbures maximales ainsi que les intersections decontours.

2. Approches intensite : a partir des niveaux de gris de l’image,trouver un operateur qui est maximal aux points d’interet

3. Approches a base de modeles : identification des pointsd’interets par mise en correspondance de la fonctiond’intensite avec un modele theorique de cette fonction despoint d’interets consideres.

→ Les approches de la deuxieme categorie sont celles utiliseesgeneralement car (a) independance vis a vis de la detectionde contours (b) independance vis a vis du type de pointsd’interets

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detecteur de Moravec (1980)

Variation moyenne de l’intensite pour un petit deplacement (x, y)

E(x, y) =

u,v

w(u, v) |I(x+ u, y + u)− I(u, v)|2

w specifie le voisinage consideree (valeur 1 a l’interieur de lafenetre et 0 a l’exterieur);

I(u, v) est l’intensite au pixel (u, v)

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detecteur de Moravec

A. intensite presque constante : E(x, y) ≈ 0B. contour : E(x, y) ≈ 0 pour des deplacement le long du

contour (y = 0) ; E(x, y) > 0 pour des deplacementsperpendiculaires

C. coin : E(x, y) > 0 pour tout (x, y) = (0, 0)D. pixel seul : idem coin

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detecteur de Moravec

⇒ un coin est un maximum local de E

⇒ pbl : la valeur de E est la meme pour un coin que pour unpixel isole

1. pour chaque pixel (u, v), calculer les variations d’intensiteE(x, y) pour (x, y) =(1, 0), (1, 1), (0, 1), (−1, 1), (−1, 0), (−1,−1), (0,−1), (1,−1)

2. Construire la carte de “coinite” en calculant la mesure C(u, v)pour chaque pixel (u, v): C(u, v) = minE(x, y)

3. Trouver les maxima de cette carte (correspondent aux pointsd’interet)

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detecteur de Moravec

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detecteur de Moravec

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Du detecteur de Moravec au detecteur de Harris (1988)

On considere le developpement de Taylor de la fonction

d’intensite I au voisinage du pixel (u, v) :

I(x+ u, y + v) = I(u, v) + xδI

δx+ y

δI

δy+ o(x2, y2)

D’o :

E(x, y) =

u,v

w(u, v)

xδI

δx+ y

δI

δy+ o(x2, y2)

2

En negligeant le terme o(x2, y2) (valide pour les petits

deplacements) :

E(x, y) = Ax2 + 2Cxy +By2,

avec:

A = δIδx

2 ⊗ w ; B = δIδy

2 ⊗ w ; C = ( δIδxδIδy )⊗ w

w : fenetre gaussienne (+ isotrope)

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detecteur de Harris

E(x, y) = (x, y) ·M · (x, y)t,

avec :

M =

A CC B

avec:

A =δI

δx

2

⊗ w ; B =δI

δy

2

⊗ w ; C = (δI

δx

δI

δy)⊗ w

M : symetrique, definie positive ⇒ decompostition en valeurspropres

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detecteur de Harris

les valeurs propres de M correspondent aux courbures principalesassociees a E :A. intensite presque constante : les deux courbures sont de

faibles valeursB. contour : une des courbures est de forte valeur, l’autre est de

faible valeurC. point : les deux courbures sont de fortes valeurs

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detecteur de Harris

valeurs propres de M : λ1 et λ2

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Detecteur de Harris

Plutot que de calculer les valeurs propres, il est possible de calculer

det(M) = AB − C2 = λ1 + λ2

trace(M) = A+B = λ1.λ2

et on calcule la reponse :

R = det(M)− k trace2(M)

Les valeurs de R sont positives au voisinage d’un coin, negativesau voisinage d’un contour et faibles dans une region d’intensiteconstante (k = 0.04)⇒ coins/point d’interet = max locaux de R

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

!"

#$%&'%&()*+&*,-))./*0*123'%.233&4&3%

54-6&/*2).6.3-7&/

!"#$%&'(')$"*"+,'-'!./,0"+1'23+,$.,34')&,4#$&'5&4&%4"$6',37'5&6%$.84"$61'9&.:/,33'236;'<26$,&*=;

!"

#$%&'%&()*+&*,-))./*0*123'%.233&4&3%

5-6'(6*+(*+$%&'%&()*+&*,-))./

!"#$%&'(')$"*"+,'-'!./,0"+1'23+,$.,34')&,4#$&'5&4&%4"$6',37'5&6%$.84"$61'9&.:/,33'236;'<26$,&*=;

!"

#$%&'%&()*+&*,-))./*0*123'%.233&4&3%

5&(.66-7&*+&/*8.9&6/*:'2.3/;

!"#$%&'(')$"*"+,'-'!./,0"+1'23+,$.,34')&,4#$&'5&4&%4"$6',37'5&6%$.84"$61'9&.:/,33'236;'<26$,&*=;

!"

#$%&'%&()*+&*,-))./*0*123'%.233&4&3%

5-6.4-*72'-(6

!"#$%&'(')$"*"+,'-'!./,0"+1'23+,$.,34')&,4#$&'5&4&%4"$6',37'5&6%$.84"$61'9&.:/,33'236;'<26$,&*=;

!"

#$%&'%&()*+&*,-))./*0*123'%.233&4&3%

5(6&)62/.%.23*/()*7&/*.4-8&/*2).8.3-7&/

!"#$%&'(')$"*"+,'-'!./,0"+1'23+,$.,34')&,4#$&'5&4&%4"$6',37'5&6%$.84"$61'9&.:/,33'236;'<26$,&*=;

!"

#$%&'(%)*%)*+,%-,./0)*%)-/.01

!"#$%&'(')*+,$+-'./&,0&$+1"02'3+45+46'78,,&$4/'+4'9*86&/':;#468$<=>

!"

#$%&'%&()*+&*,-))./*0*(%.1.%$

23))&/435+-5'&*&5%)&*.6-7&/*841(/*13.5*+-5/*1&*'3()/9:43()*1&*!#;*1&*63(<&6&5%;*1-*)&'=&)'=&*+>.6-7&/;*:

!"#$%&'(')*+',*--.&/'01!0'232'4+56&'789&$:-589*86'4('4+56&';85.<:*:/'7=0'>058595?

! !

! "#$%&'%#(!)#!&*(%('*#

"#$%&'()*+&),-'-.,/0&1'&2,)$%&)%+-%&1'&$#$%0&%-&

1%+&3'1%4)+&(),()%+&5%&1'&$'-).6%&'4++.

+,()-().&!/)!0%&&'1!2!3&*3&',(,1

!"#$%&'(')$"*"+,'-'!./,0"+1'23+,$.,34')&,4#$&'5&4&%4"$6',37'5&6%$.84"$61'9&.:/,33'236;'<26$,&*=;

! !

!"#$%&'()*&&+&'

(",,-'("$%"./0"#$'1

"#$%&$%'(!)%!*+((,-!.!/(0/(,#$#-

! 1%!)#$%&$%'(!)%!*+((,-!23%-$!/+-!,24+(,+2$!5!63#&7%66%!! 8%!902&$,022%!/+-!-,!&7+2:%;%2$!)3#&7%66%

!"#$%&'(')$"*"+,'-'!./,0"+1'23+,$.,34')&,4#$&'5&4&%4"$6',37'5&6%$.84"$61'9&.:/,33'236;'<26$,&*=;

! !

! "#!$%&'($!)$'!*+,&+-($'!.$,/$((+-(!)01(,$!&-*+,&+-(!2!#0345$##$

! 6%$/.#$!7!8+,,&'9:+.#+4&$-

"-*+,&+-4$!2!#0345$##$

!"#$%&'(')$"*"+,'-'!./,0"+1'23+,$.,34')&,4#$&'5&4&%4"$6',37'5&6%$.84"$61'9&.:/,33'236;'<26$,&*=;

! !

! "#$$%&'(#)*#+%,-.

"#$%&'#!('!)*+,)%)!($-*(!.$%#!/! 0'1!-$,21!3'!4*##,1!3*21!(5'1.*-'!6+789

! 0'!0*.(*-,'2!'2!:-;'(('

"#$%&'()*+,-./(0#1%2-34'5%#67859:'8;#<+=95#)8#2-+*9#78>+?'+8@#78@9?9=@#A)'8@=B%#711C#DEE"

F-39**9

!

"

!#G+??'=#"

!#H+I*+-'98#"

#$%&'()*)+&$,$-.)/)#01.2$-3)45-.&0.56)+(.6%&()7(6('6$&8).59)7(8'&0:6$&83);(0<1.55)458=)>48&.(,?=

4*##,1<0*.(*-,'2

Mise en correspondance

Les methodes de correlation sont utilisees depuis longtempspour mettre en correspondance des pixels sur la based’informations d’intensites.

L’idee est de definir une mesure de similarite entre les pixelsde deux images.

Les pixels sont les primitives les mieux adaptes pour la miseen correspondance.

Les rgions sont en effet mal adaptees la mise encorrespondance (la taille d’une region est differente d’uneimage une autre), tout comme les contours

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Mise en correspondance - principe

Le principe est de considerer, pour un pixel p1 de l’image 1, unefenetre rectangulaire centree en p1 et de calculer sacorrelation/distance avec une fenetre dans la deuxieme image. Lafonction de correlation est alors maximum en p2 correspondant dep1 dans la deuxieme image (distance minimum)

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Mise en correspondance - fonctions de dissimilarite

Pour une fenetre de taille 2N + 1× 2P + 1

Sum of absolute differences (SAD)

SAD(p1(u1, v1), p2(u2, v2)) =i=N

i=−N

j=P

j=−P

|I1(u1+i, v1+j)−I2(u2+i, v2+j)|

Sum of squared differences (SSD)

SSD(p1(u1, v1), p2(u2, v2)) =i=N

i=−N

j=P

j=−P

(I1(u1+i, v1+j)−I2(u2+i, v2+j))2

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Mise en correspondance - fonctions de dissimilarite

Pour une fenetre de taille 2N + 1× 2P + 1

Zero Mean Sum of squared differences (ZSSD)

ZSSD(p1(u1, v1), p2(u2, v2))

=i=N

i=−N

j=P

j=−P

[(I1(u1 + i, v1 + j)− I1(u1, v1))

− (I2(u2 + i, v2 + j)− I1(u2, v2))]2

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Mise en correspondance - fonctions de similarite

Pour une fenetre de taille 2N + 1× 2P + 1

Correlation Croisee (CC) (peut se deduire de la SSD)

CC(p1(u1, v1), p2(u2, v2)) =i=N

i=−N

j=P

j=−P

I1(u1+i, v1+j).I2(u2+i, v2+j)

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Mise en correspondance - fonctions de similaritePour une fenetre de taille 2N + 1× 2P + 1

Zero-Mean normalized cross-correlation (ZNCC)

ZNCC(p1(u1, v1), p2(u2, v2))

=1

σ1.σ2

i=N

i=−N

j=P

j=−P

(I1(u1 + i, v1 + j)− I1(u1, v1))

.(I2(u2 + i, v2 + j)− I1(u2, v2))

avec

σ1 =

1

(2N + 1)(2P + 1)

i=N

i=−N

j=P

j=−P

(I1(u1 + i, v1 + j)− I1(u1, v1))2

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

Mise en correspondance - limitations

repose sur des hypotheses fortes :

Les changements de points de vue n’alterent pas l’aspect dessurfaces

Pas d’occultations lors de la recherche d’un correspondant.

Une region rectangulaire dans l’image 1 correspond a uneregion rectangulaire dans l’image 2.

Deux regions de couleurs constantes presentent une distancenormalisee (ZSAD, ZSSD) nulle. Une solution consiste anormaliser non pas la region mais l’ensemble de l?image.

Elise Arnaud elise.arnaud@imag.fr M2P UFR IMA

!"

#$%&'()*+%&',-.'()/)0123

! 0123)405678)1&96-%6&')286':-8)3-6&(;$-<=)>?$@8A)BCCDE! F''G/HH@@@I5(I:J5I56HK7$@8HL8MG$%&'(H

! N$:98778)6GG-$5F8)*8)G$%&'()*+%&',-.'()'-O()G$G:76%-8! %&96-%6&58)G6-),5F8778! %&96-%6&58)G6-)-$'6'%$&! %&96-%6&58)G6-)G$%&')*8)9:8A)! %&96-%6&58)6:P)5$&*%'%$&()*Q,576%-6R8

! #$%&'()$-%8&',()/)9678:-()S)985'8:-

!"#$%&'(')*+,-'."/&0'),12,3%2,+&'45*6&'7&*2#$&1'8$"5'!%*9&'43+*$,*321':&;<",321'=>'4?@A>'BCDEF>'ECCG0

!"

#$%&

'()*+),-+./01-2+(,+(34.-,4+),+-,5-/36-+7-+8-94-)*5+08-9+044*.3)45

!"

#$%$&'(%)*')+,-*./,.&$0&,0.1234

566%7&8-.9,0'):(&8-00-

#$0&,0.*-07;.60,*)-,%*./)%-&')7;*.-;.'-;$;'.&796'-./,.<7)*);$=-

>7,%.0?$0=7%)'89-.&7960-'@.0)%-.0-*.$%')&0-*./)*67;)A0-*.*,%.8''6BCCDDDE&*E,A&E&$CF07D-CG-H67);'*C

!"

#$%&$'%&$()*+,-$./()01/(21$(3405$

!"#$%&'(')*+,-'."/&0'),12,3%2,+&'45*6&'7&*2#$&1'8$"5'!%*9&'43+*$,*321':&;<",321'=>'4?@A>'BCDEF>'ECCG0

Recommended