21
Segmentation de Segmentation de séquences d’images au séquences d’images au sens du mouvement sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Embed Size (px)

Citation preview

Page 1: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Segmentation de séquences Segmentation de séquences d’images au sens du d’images au sens du

mouvementmouvement

Stage DEA Image & Calculs

Elodie Bichot

Juillet 2002

Encadrant : L. Mascarilla

Page 2: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

IntroductionIntroduction

illusion de mouvement créée par la succession d’images à une cadence élevée

mouvement = information importante en traitement d’images

segmentation de séquences d’images au sens du mouvement

Page 3: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

PlanPlan

I. Définition de la segmentation au sens du mouvement

II. Les méthodes de segmentation au sens du mouvement

1. Le flot optique2. Les méthodes d’estimation du flot optique3. Le partitionnement du flot optique

III. Mise en œuvre1. L’appariement par fenêtres2. L’algorithme de segmentation au sens du

mouvement mis en œuvre

Page 4: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Contexte : Projet Aqu@thèqueContexte : Projet Aqu@thèque

étape de segmentation : détecter la région correspondant au poisson sélectionné

images couleurs réelles présentant des effets spéculaires, des changements de luminosité

méthodes de segmentation par le mouvement impossible de distinguer deux poissons évoluant en

sens opposé au moment où ils se croisent

segmentation au sens du mouvement

Page 5: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Segmentation au sens du mouvementSegmentation au sens du mouvement

Partitionnement de l’image en régions uniformes ausens du mouvement : estimation du mouvement 2D (flot optique) classification des pixels selon leur mouvement

.............................................

..........................................................................................

.............................................

.............................................

.............................................

...............................

.............................................

..............

...............................

.............................................

.............................................

.............................................

.............................................

...............................

Estimation du mouvement

Séquence d’images

segmentation

Flot optique Images segmentées en régions uniformes au sens du mouvement

Page 6: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Le flot optiqueLe flot optique

champ de vecteurs de déplacements produit par la projection du mouvement 3D des objets et/ou par le mouvement de la caméra

estimation du flot optique illumination constante : I t x t I( , ( )) 0

v I I t. 0

vdx

dt

dx

dtv v ( , ) ( , )1 2

1 2

II

tt

composantes de la vitesse

gradient spatial de I

gradient temporel de I

équation du flot optique

],[),(21

21xx II

x

I

x

II

Page 7: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Le flot optiqueLe flot optique

v I I t. 0 équation du flot optique

fossé entre mouvement estimé par équation du flot optique et mouvement réel

détermination du mouvement problème mal posé :

problème d’ouverture : seule b, composante du mouvement normale au bord, peut être

estimée [2]

Page 8: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Domaines d’utilisation du flot optiqueDomaines d’utilisation du flot optique compression vidéo par compensation de mouvement segmentation : météorologie

reconnaissance de signes du langage des signes surveillance de sites routiers

Le flot optique pour segmenter des véhicules en mouvement [1]

Page 9: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Méthodes d’estimation du flot optiqueMéthodes d’estimation du flot optique

Techniques différentielles Méthodes fréquentielles Appariement par fenêtres

Page 10: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Les méthodes différentiellesLes méthodes différentielles

fondées sur hypothèse d’intensité constante

Problème d’ouverture ajout de contrainte de lissage du flot optique :flot optique constant sur un voisinage local de

meilleure solution : la plus régulière [HS81]

I x v t I x t( , ) ( , ) 1

I x t v x t I x t Ot( , ). ( , ) ( , )1 2

x

min ( )( ( , ). ( , ))W x I x t vI

tx t

x

2 2

[LK81]

( . ) ( ) I vI

tv v dxdy

image

2 21

2

2

2

Page 11: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Positionnement des techniques Positionnement des techniques différentiellesdifférentielles

coût de calculs faible précise

estimation de déplacements de faible amplitude mauvaise estimation du flot optique aux

frontières des objets = zones de discontinuités du mouvement

Page 12: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

L’appariement par fenêtresL’appariement par fenêtres recherche de la meilleure correspondance entre des régions

de deux images consécutives par :– maximisation d’un critère de similarité– minimisation d’une distanceentre deux fenêtres de référence sur une zone de recherche

fenêtre de référence ou de corrélation zone de recherche

position translatée de la

fenêtre de référence

pixel (i, j) de l’image considéré

Page 13: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Positionnement de l’appariement par Positionnement de l’appariement par fenêtresfenêtres

simple possibilité d’estimer des déplacements d’amplitude

importante

problème en cas d’images bruitées, en présence d’occultations, en cas de zones uniformes

coûteuse en temps de calculs imprécise

Page 14: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Segmentation du flot optiqueSegmentation du flot optique

qualité liée à la qualité de l’estimation du mouvement

par estimation d’un mouvement dominant

- évaluation du mouvement dominant

- « extraction » de l’objet animé du mouvement dominant

problème : lorsqu’il n’y a pas qu’un seul mouvement dominant

Page 15: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Segmentation du flot optiqueSegmentation du flot optique

par classification sur les paramètres d’un modèle de mouvement affine [WA94] :

mouvement affine :- facile à implémenter- décrit les mouvements rencontrés dans les vidéos

v x y a a x a y

v x y a a x a yx x xx xy

y y yx yy

( , )

( , )

0

0

génération d’hypothèses de

mouvementclassification

flot optique

affectation des régions à l’hypothèse la plus

proche

image segmentée

objets en translation : groupement des pixels de même vitesse

Page 16: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Estimation du flot optique par Estimation du flot optique par appariement par fenêtresappariement par fenêtres

simple à l’origine des meilleurs résultats pas fondé sur hypothèse d’illumination constante intégration assez facile de l’information de couleur

difficile d’apprécier la justesse du flot optique estimé

image initiale, flot optique évalué par appariement et par la méthode de Lucas & Kanade

Page 17: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Estimation du flot optiqueEstimation du flot optique

Représentation des normes des vecteurs vitesses et du flot optique évalués par appariement à partir d’images en niveaux de gris à gauche, à partir d’images en

couleurs à droite

Page 18: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Algorithme de segmentation au sens du Algorithme de segmentation au sens du mouvementmouvement

flot optique évalué par appariement segmentation par classification sur les paramètres

d’un modèle de mouvement affine nombre de classes fixé arbitrairement

Estimation du flot optique

Estimation des paramètres d’un modèle de mouvement affine sur des régions carrées [WA94]

Classification par Cmoyennes floues sur les paramètres de mouvement

Représentation des classes dans l’espace de l’image

image initiale image segmentée

Page 19: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Algorithme de segmentation au sens du Algorithme de segmentation au sens du mouvementmouvement

flot optique évalué par appariement segmentation par classification sur les composantes de

la vitesse nombre de classes fixé arbitrairement

image initiale segmentation par classification sur les composantes de la vitesse

Page 20: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

ConclusionConclusion

estimation du flot optique + partitionnement du flot optique = segmentation au sens du mouvement

appariement par fenêtres + classification sur les composantes du déplacement = segmentation au sens du mouvement

distinction de poissons évoluant en sens opposé

coopération entre la segmentation au sens du mouvement et la poursuite de cibles

Page 21: Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

Références Références [HS81] B.K.P. Horn, B.G. Schunck. Determining optical flow. Artificial Intelligence

17 : 185-204, 1981. [LK81] B. Lucas, T. Kanade. An iterative image registration technique with an

application to stereo vision. Proc. DARPA Image Understanding Workshop, pp.121-130, 1981.

[WA94] J.Y.A. Wang, E.H. Adelson, Spatio-Temporal Segmentation of Video Data. Proceedings of the SPIE : Image and Video Processing 2, vol. 2182, San Jose, 1994.

[WA94] J.Y.A. Wang, E.H. Adelson. Representing Moving Images with Layers. IEEE Transactions on Image Processing Special Issue : Image Sequence Compression, vol3, n°5, p. 625-638, 1994.

[1] http://www.cmap.polytechnique.fr/~bernard/FlotOptique/page3.html [2] http://www.dai.ed.ac.uk/CVonline/LOCAL_COPIES/OWENS/LECT12/node4.html