Reconstruction 3 D

Preview:

Citation preview

Tébourbi Riadh, SUP'COM 2005 1

IMAGERIE 3D

08/10/2007

Ecole Supérieure des Communications de Tunis

CoursTébourbi Riadh

Quelques références

Tébourbi Riadh, SUP'COM 2005 2

- R. Horaud & O. Monga. Vision par Ordinateur : Outils Fondamentaux, Editions Hermès, 1995.

http://www.inrialpes.fr/movi/people/Horaud/livre-hermes.html

- Olivier Faugeras. Three-Dimensional Computer Vision, MIT Press, 1993.

- Frederic Devernay. Vision par Ordinateur. INRIA (France).http://devernay.free.fr/cours/vision

- Joshua Gluckman. Computer Vision. Polytechnic University (USA).http://cis.poly.edu/cs664/0

Contexte

Tébourbi Riadh, SUP'COM 2005 3

Vision par ordinateur : branche de l’IA dont le but est de permettre à une machine de comprendre ce qu'elle «voit » lorsqu'on la connecte à une ou plusieurs caméras.

ne cherche pas à comprendre ou à reproduire la vision humaine, mais à construire un modèle algorithmique qui, vu de l'extérieur, possède des propriétés semblables.

Tébourbi Riadh, SUP'COM 2005 4

Vision binoculaire

Perception 3D

Objet 3D

1er point de vue

2ème point de vue

Problème difficile de la vision artificielle

Vision 3D

Tébourbi Riadh, SUP'COM 2005 5

Vision 3D :

Méthodes passives : Méthodes actives :

-Acquisition directe de la profondeur

- Analyse de déphasage ou de distorsion du signal

émis

- Stéréoscopie (deux images ou plus)

- Monoscopie (une seule image) : étude des formes

Introduction

Tébourbi Riadh, SUP'COM 2005 6

Méthodes actives : ultra-sons, lumière cohérente, faisceau laser...

L ’information 3-D est directement acquise par analyse de déphasage ou de distorsion du signal.

Techniques coûteuses.Objets étudiés proches et immobiles.

Exemples d’imagerie 3D: Imagerie médicale (Tomographie CT, scanner X, résonance magnétique nucléaire), Holographie,…

Méthodes actives

Tébourbi Riadh, SUP'COM 2005 7

Une seule image : étude des formes à partir de l’ombrage, analyse de texture…

Deux images ou plus : Stéréovision

L ’information 3-D est obtenue par recherche de points homologues entre deux images ou plus : la différence de projection du même point physique appelée disparité est directement liée à l ’élévation.

Invention du premier stéréoscope (1838).

La stéréovision reproduit le processus de la vision binoculaire chez l’homme.

Méthodes passives

Tébourbi Riadh, SUP'COM 2005 8

M

Image gauche

Reconstruction 3D

Mise en correspondance

Image droite

Modèle caméra gauche Modèle caméra droite

m1 m2

Stéréovision: Principe

Tébourbi Riadh, SUP'COM 2005 9

Etapes de la reconstitution 3D par stéréovision

•Acquisition stéréoscopique•Etalonner les deux caméras: Modélisation des capteurs connaissance du modèle de projection relation coordonnées 3D/2D

•Trouver les points correspondants m1/m2 dans les deux images: Mise en correspondance

•Calculer les coordonnées 3D: Reconstruction 3D

Tébourbi Riadh, SUP'COM 2005 10

Acquisition : Photos

•2 appareils photos (numériques).

HB

A

Tébourbi Riadh, SUP'COM 2005 11

- Acquisition instantanée

- Centre optique fixe pour une image

Perspective conique

Axe de vol

Acquisition : Stéréoscopie aérienne

Tébourbi Riadh, SUP'COM 2005 12

orbite

- Acquisition non instantanée

- Centre optique mobile

Perspective subcylindro

conique

Acquisition : Stéréoscopie satellitaire

Tébourbi Riadh, SUP'COM 2005 13

orbite

Jème jour (J+cycle)ème jour

Couverture stéréoscopique

Stéréoscopie verticale Stéréoscopie satellitaire

Tébourbi Riadh, SUP'COM 2005 14

orbite

Instant t

Instant t+90s

Couverture stéréoscopique

Stéréoscopie avant-arrière : cas de HRS Stéréoscopie satellitaire :

Tébourbi Riadh, SUP'COM 2005 15

Stéréoscopie satellitaire

Jour j

Jour j’Orbite descendante

Orbite ascendante

Couverture stéréoscopique

Stéréoscopie latérale : cas de HRG

Tébourbi Riadh, SUP'COM 2005 16

Exemples d’images stéréoscopiques

Photos

Tébourbi Riadh, SUP'COM 2005 17

Aériennes

Tébourbi Riadh, SUP'COM 2005 18

Satellitaires (SPOT5)

Tébourbi Riadh, SUP'COM 2005 19

Satellitaires (IKONOS)

Modélisation du capteur

Tébourbi Riadh, SUP'COM 2005 20

Tébourbi Riadh, SUP'COM 2005 21

Modélisation du capteur

BUT: Déterminer le modèle géométrique associé au processus de saisie d'une image stéréoscopique à l'aide d'une caméra (capteur) déterminer les paramètres liés à ce modèle.

Déterminer relation coordonnées Image/scène

Modéliser

Tébourbi Riadh, SUP'COM 2005 22

- Acquisition instantanée

- Centre optique fixe pour une image

Perspective conique

Axe de vol

Géométrie d’une caméra « sténopé »

Tébourbi Riadh, SUP'COM 2005 23

Barrette CCD

Orbite du satellite

Sens du défilement

balayage push broom

Perspective coniquepar ligne

Géométrie du capteur SPOT

Tébourbi Riadh, SUP'COM 2005 24

Modèle “ à trou d’épingle”

Ou modèle sténopé ou « pinhole model »

Ce modèle considère que la transformation opérée par la caméra est une transformation perspective parfaite, de centre C (le centre optique de la caméra).

CP

p

Modélisation du capteur

Tébourbi Riadh, SUP'COM 2005 25

Modèle “ à trou d’épingle”

b)

a)

Rc

Rw

m2(u,v)

m1(u,v)

P(Xw,Yw,Zw)

C2C1

ZY

X

u

v

b) Projection

a) Transformation R + T

S: facteur d’échelleM: matrice 3 4

1ZYX

M w

w

w

ssvsu

0vmmvZmZmvYmYmvXmXm0ummuZmZmuYmYmuXmXm

3424W33W23W32W22W31W21

3414W33W13W32W12W31W11

I- Géométrie d’une caméra

Tébourbi Riadh, SUP'COM 2005 26

b) Une projection qui transforme un point de l’espace 3D dans le repère de la caméra (X,Y, Z) en un point 2D de coordonnées (u,v) de l’image

vZYKfv ; uZ

XKfu 0v

0u

Ku et Kv facteurs d’échelle de l’image respectivement dans la direction de u  et de v(pixels/mm), f : focale exprimée en mm et u0 et v0 :coordonnées en pixels du centre de l'image

1ZYX

000

1vu

0

0

00

ssvsu

0

0

v

u

KfKfAvec vu vu et

u0, v0, u et v représentent les paramètres intrinsèques de la caméra

Tébourbi Riadh, SUP'COM 2005 27

Remarque

; 00 vyvuxu vu

)ZYy,

ZXx( Si on pose

alors

pIm

1000

0

0

0

vu

I v

u

1vu

mavec et

Soit:

Tébourbi Riadh, SUP'COM 2005 28

a) Une transformation qui lie les coordonnées d’un point Pw(Xw,Yw,Zw) de l’espace 3D à ceux dans le repère de la caméra (X,Y,Z).

= transformation rigide qui se compose d’une rotation et d’une translation 

TZYX

RZYX

W

W

W

z

y

x

333231

232221

131211

TTT

RRRRRRRRR

R T et

Les termes de R et de T sont appelés les paramètres extrinsèques de la caméra

Tébourbi Riadh, SUP'COM 2005 29

1ZYX

A

1ZYX

W

W

W

TZYX

RZYX

W

W

W

Peut s’écrire:

10TR

1000TRRRTRRRTRRR

Az333231

y232221

x131211

Avec:

Tébourbi Riadh, SUP'COM 2005 30

1ZYX

000

1vu

0

0

00

ssvsu

0

0

v

u

Et

1ZYX

A

1ZYX

W

W

W

Donnent:

1ZYX

Mssvsu

W

W

w

M (34) appelée la matrice de projection de la caméra

Tébourbi Riadh, SUP'COM 2005 31

34333231

24232221

14131211

mmmmmmmmmmmm

M

10TR

01000v00u0

M 0v

0u

1ZYX

Mssvsu

W

W

wRésumé

Tébourbi Riadh, SUP'COM 2005 32

Relation 2D/3D

34W33W32W31

24W23W22W21i

14W13W12W11i

mZmYmXms

mZmYmXmsv

mZmYmXmsu

iii

iii

iii

1ZYX

Mssvsu

W

W

w

Elimination de s

0vmmvZmZmvYmYmvXmXm

0ummuZmZmuYmYmuXmXm

3424W33W23W32W22W31W21

3414W33W13W32W12W31W11

. Relations linéaires entre (u,v) et (Xw,Yw,Zw).

. Si 2 caméras ou plus alors 4 équations ou plus pour 3 inconnues.

Trouver les coefficients de M ?

Tébourbi Riadh, SUP'COM 2005 33

Etalonnage de la caméra

L’étalonnage de la caméra = calcul des coefficients mij de M

•A partir des coordonnées 3D: Pwi=(Xwi,Ywi,Zwi) de N points et de leurs projections dans l’image : (ui,vi)

• N points (N 6 ) 2N (2N 12) équations pour 12 inconnues. Nous avons un système a 2N équations linéaires.

Tébourbi Riadh, SUP'COM 2005 34

Etalonnage (suite)

Utilisation une mire•Contient un ensemble de points dont les coordonnées (3D) sont connues •Les Coordonnées 2D sont repérés dans l’image.

GPS

Exemple:

Tébourbi Riadh, SUP'COM 2005 35

Etalonnage (suite)

Pour chaque point i :

1i N

Résoudre un système linéaire homogène à 2N équations:

Tébourbi Riadh, SUP'COM 2005 36

Etalonnage (suite)

Le système peut être écrit:

)4(3434

3332312423222114131211

10000

00001

12i ligne2

mivmiu

mmmmmmmmmmm

iWZiviWYiv

iWXiviWZ

iWYiWX

iWZiuiWYiu

iWXiuiWZ

iWYiWXiligne

Il faut éviter la solution évidente mij=0 Poser des contraintes.

Tébourbi Riadh, SUP'COM 2005 37

Etalonnage (suite)

Pour pouvoir poser des contraintes sur des mij regardons la matrice M en fonction des paramètres intrinsèques et extrinsèques:

z

zyvvvv

zxuuuu

TRRR

TvTRvRRvRRvRTuTRuRRuRRuR

M

333231

0330233202231021

0330133201231011

Contrainte m34 0 (m34 = Tz)

2 contraintes :

Tébourbi Riadh, SUP'COM 2005 38

Etalonnage (suite)

R31, R32 et R33 sont les éléments d’une matrice de rotation R :

))cos(cos())cos(sin(-)sin(

))cos(sin())sin()sin(cos( )cos()cos()sin()sin()sin( ))sin(cos(-))sin(sin())cos()sin(cos(- )sin()sin()cos()sin()sin( )cos()cos(

R

Nous pouvons écrire: 1233

232

231 RRR

Donc contrainte :

333332323131 met , RRmRm Or

1233

232

231 mmm

Tébourbi Riadh, SUP'COM 2005 39

Etalonnage (suite)Utilisation de la contrainte m34 0 : on divise le système d’équations par m34 on obtient:

CQK

soit

iviu

qqqqqqqqqqq

iWZiviWYiv

iWXiviWZ

iWYiWX

iWZiuiWYiu

iWXiuiWZ

iWYiWXiligne

)6(

3332312423222114131211

10000

00001

12i ligne2

Nous cherchons les qij = mij/m34

Résolution de ce système par la méthode des moindres carrés (pseudo-inverse):

)7( )( 1 CKKKQ tt

Tébourbi Riadh, SUP'COM 2005 40

Etalonnage (suite)

Une fois les qij trouvés nous cherchons les mij sachant que:

1233

232

231 mmm Soit: 2

34233

232

231 /1 mqqq

233

232

231

341

qqqm

D’où

Et 4)j3,(i m34 ijij qm

Tébourbi Riadh, SUP'COM 2005 41

Calcul des paramètres intrinsèques et extrinsèques de la caméra 

M =(mij) : fonctions des paramètres intrinsèques et extrinsèques.

En tenant compte de:

- La matrice R est orthogonale

- L’origine du repère de la scène Ow est toujours devant la caméra (Tz>0)

On obtient:

33

3022

3011

34232

24

34231

14

20222

20112

3220

3120

34

33

1

1

1

1

1

1

1

1

mk

r

kmvm

r

kmum

r

mkmm

mk

T

mkmm

mk

T

vmmk

ummk

mmk

v

mmk

u

mk

T

mmk

v

u

t

vy

t

ux

tv

tu

t

t

z

t

Tébourbi Riadh, SUP'COM 2005 42

Précision de l’étalonnage

Pour vérifier la précision du calibrage nous pouvons calculer deux erreurs :

Une erreur commise sur l’orthogonalité de la matrice R : La matrice R est une matrice de rotation et doit vérifier:

1233

232

231 RRR

Une erreur calculée en reconstituant les coordonnées (ui,vi) des points de référence (coordonnées de ces points utilisées pour le calcul des coefficients de M). Après calibration nous pouvons recalculer les coordonnées (uci,vci) de ces points de référence et calculer l’erreur :

22

1

)()(

1

iiiii

Ni

ii

vcvucuaavec

aN

e

qui est la moyenne des erreurs résiduelles et:

Ni

ii ea

N 1

2)(1

qui est la variance de ces erreurs.

Tébourbi Riadh, SUP'COM 2005 43

Géométrie d’un système stéréoscopique

1) Position relative des deux caméras

2) Géométrie épipolaire

3) La matrice essentielle

4) La matrice fondamentale

Tébourbi Riadh, SUP'COM 2005 44

Position relative des deux caméras

wii

c PAP

1ZYX

A

1ZYX

W

W

W

Pour chaque caméra i

Pw=(Xw,Yw,Zw)t tiii

ic ZYXP ),,(

Rappel:

10

1000333231

232221

131211

iii

ziii

iy

iii

ix

iii

i

TRTRRRTRRRTRRR

A

Tébourbi Riadh, SUP'COM 2005 45

Pour les deux caméras, nous pouvons alors écrire

wc

wc

PAP

PAP

22

11

En éliminant Pw entre les deux équations, nous obtenons:

1cs

2c PAP 1

12 AAAsavec

As est une matrice décrivant la transformation rigide « repère caméra gauche/repère caméra droite » et peut être représentée par une matrice de rotation Rs et un vecteur translation Ts

10

TsRs

1000TsRsRsRsTsRsRsRsTsRsRsRs

Asz333231

y232221

x131211

z

y

x

TsZRsYRsXRsZ

TsZRsYRsXRsYTsZRsYRsXRsX

1331321312

1231221212

1131121112

Tébourbi Riadh, SUP'COM 2005 46

En introduisant dans cette dernière équation les coordonnées de la projection de Pw dans l'image rétinienne gauche

)ZY

y,ZX

x(1

11

1

11

et droite

)ZY

y,ZX

x(2

22

2

22

, nous pouvons écrire :

z13311321131

y12311221121

2

22

z13311321131

x11311121111

2

22

TsZRsZyRsZxRsTsZRsZyRsZxRs

ZY

y

etTsZRsZyRsZxRsTsZRsZyRsZxRs

ZX

x

Tébourbi Riadh, SUP'COM 2005 47

En éliminant Z1 0cbyax 22

)RsTsRsTs(y)RsTsRsTs(x)RsTsRsTs(c)RsTsRsTs(y)RsTsRsTs(x)RsTsRsTs(b

)RsTsRsTs(y)RsTsRsTs(x)RsTsRsTs(a

13y23x112y22x111y21x

33x13z132x12z131x11z

23z33y122z32y121z31y

Avec:

équation qui décrit l'ensemble des points (x2,y2) de l'image de droite pouvant correspondre à un point (x1,y1) de l'image gauche

= une droite appelée droite épipolaire

Le correspondant d'un point de l'image gauche se trouve forcément sur une ligne épipolaire dans l'image droite

Tébourbi Riadh, SUP'COM 2005 48

Géométrie épipolaire

m1 m2

e1

e2

M

C2

C1

Image 1 Image 2

e1 et e2 sont appelés les épipoles

Le faisceau de lignes qui passent par e1 dans image1 et par e2 dans image2 sont appelées les lignes épipolaires

Pour chaque point m1 de image1, son correspondant m2 dans image2 se trouve sur une ligne épipolaire Im1

Contrainte épipolaire

Tébourbi Riadh, SUP'COM 2005 49

Un point dans l’image gauche se situe sur la droite épipolaire correspondante dans l’image droite

Exemple

Tébourbi Riadh, SUP'COM 2005 50

Tébourbi Riadh, SUP'COM 2005 51

La matrice essentielle

Coefficients de la droite épipolaire:

0cbyax 22 Droite épipolaire

1yx

RsRsRsRsRsRsRsRsRs

0TsTsTs0Ts

TsTs0

cba

1

1

333231

232221

131211

xy

xz

yz

qui peut s'écrire, en introduisant la matrice E, sous la forme:

1yx

Ecba

1

1

Tébourbi Riadh, SUP'COM 2005 52

La matrice essentielle

0cba

)1yx( 22

Equation de la droite épipolaire peut s’écrire:

1yx

Ecba

1

1

et Donne: 0 12 pEp t pi=(xi,yi,1)t avec

E est appelée la matrice essentielle

E: décrit la transformation épipolaire gauche-droite et donne l'équation de la droite épipolaire droite

Transformation épipolaire droite-gauche Et 0pEp 2tt

1

Tébourbi Riadh, SUP'COM 2005 53

La matrice fondamentale

Rappel: pour chaque caméra i:

iii pIm

100v0u0

I 0v

0u

i

1vu

m i

i

iavec et

0 12 pEp tEn remplacant dans

0 )( 112211 mIEIm

ttNous obtenons

1112 )( IEIF

t= matrice fondamentale (3x3)

0 12 mFm t

Exprime la relation qui existe entre les coordonnées images (en pixels) gauche (u1,v1) et

droite (u2,v2), décrivant, ainsi, la géométrie épipolaire

Tébourbi Riadh, SUP'COM 2005 54

Mise en correspondance

(Xw,Yw,Zw) (scène) projections (U1,V1) (image gauche) et (U2,V2) (image droite)

0vmmvZmZmvYmYmvXmXm0ummuZmZmuYmYmuXmXm

i3424iW33W23iW32W22iW31W21

i3414iW33W13iW32W12iW31W11

i=1,2

Pour chaque pixel dans image gauche: recherche de son correspondant dans image droite: un problème de mise en correspondance ou appariement

Tébourbi Riadh, SUP'COM 2005 55

Problème simplifié: a) contrainte épipolaire

m1 m2

e1

e2

M

C2

C1

Image 1 Image 2

Analytiquement:

0111

1

2

2

vu

Fvu

F: matrice fondamentale (3x3)

Mise en correspondance (suite)

Tébourbi Riadh, SUP'COM 2005 56

Contrainte épipolaire

Image de référence Image de recherche

Ligne épipolaire

m

C1

C2

Espace de recherche monodimensionnel (≈ ligne)

Tébourbi Riadh, SUP'COM 2005 57

Mise en correspondance (suite)

Problème encore simplifié: b) Rectification des images

m 1

m2

m’1m’2

u’1 u’2

disparité: d = u’2 – u’1

Tébourbi Riadh, SUP'COM 2005 58

dd’

Exemple

Tébourbi Riadh, SUP'COM 2005 59

Géométrie des images rectifiées

Paramètres:

H

B

m1m2

u1 u2

disparité: d = u’2 – u’1

Tébourbi Riadh, SUP'COM 2005 60

Géométrie des images rectifiées (2)

La géométrie des deux caméras peut être décrite seulement par la distance qui sépare les deux centres optiques B et la hauteur des deux caméras H

Matrices de rotation (égales) :

100010001

R0

Vecteurs de translation:

H0B

T01

H00

T02

100001000010B001

As0Transformation rigide gauche-droite (simple translation)

Tébourbi Riadh, SUP'COM 2005 61

Géométrie des images rectifiées (3)

Matrice essentielle:

0B0B00000

E0

Matrice fondamentale:

010100

000F0

100v0u0

I 0v

0u

i

Si pour les deux caméras αu = αv w

u21 ZH

Buud

Disprité = f(Zw,B,H)

Tébourbi Riadh, SUP'COM 2005 62

Mise en correspondance

Objectif:Trouver, pour un élément géométrique dans une image (résultant d'une projection d'un objet 3D de la scène sur l'image), sont élément homologue ( ou correspondant) dans l'autre image

Mise en correspondance de primitives•points d’intérêt •segments / contours•régions

Mise en correspondance densechaque pixel est apparié

Tébourbi Riadh, SUP'COM 2005 63

Mise en correspondance par corrélation

p

l l

fenêtre de corrélation

fenêtre de recherche

Image gauche Image droite

)var()var(),cov(

21

21

FFFFncorrélatio

dmin dmax

rseuilrvuCMaxArgd ))),,(((

exemple

Tébourbi Riadh, SUP'COM 2005 64

Tébourbi Riadh, SUP'COM 2005 65

Approche hiérarchique]

4,

4[ maxmin dd

]2

,2

[ maxmin dd

],[ maxmin dd

Sous-échantillonnage de facteur 2

Sous-échantillonnage de facteur 2Reconstruction

grossière

Reconstruction fine

Tébourbi Riadh, SUP'COM 2005 66

Approche hiérarchique

Tébourbi Riadh, SUP'COM 2005 67

Approche hiérarchiqueCo

nstr

ucti

on d

‘une

pyr

amid

e

Prop

agat

ion

de la

dis

pari

é

•Rapidité

•Intervalle de disparité large

Approche par régions

Tébourbi Riadh, SUP'COM 2005 68

Extraction de régions

Extraction de régions

Mise en correspondance

Carte de disparité

Besoin de moyens d’extraction de régionsSegmentation par

•Détecteurs de contours•Morphologie mathématique•Contours actifs•Et

Classification

A

B

C

Détection de contours

Tébourbi Riadh, SUP'COM 2005 69

Régions Fermeture de contours

Élimination des contours orphelins

Buit pré-filtrage des images

A

Classification

Tébourbi Riadh, SUP'COM 2005 70

Non connaissance a priori du contenu de la scèneContenu diversifié

tenir compte des zones texturées

Méthodes Non superviséesFCM, Agglomération Compétitive, etc.

Classification spectrale ou spatiale (texture)Texture: ondelettes complexes, Gabor, etc.

A

Mise en correspondance des régions

Tébourbi Riadh, SUP'COM 2005 71

• À base de contraintes géométriques– Contrainte épipolaire– Contrainte de domaine de disparité

• À base du contexte de l’objet– Contrainte de rapport de taille– Contrainte de similarité

Restriction du domaine de recherche

B

Critère de similarité

Tébourbi Riadh, SUP'COM 2005 72

),(),(),( 212121 RRSRRSRRS TA

Attributs spatiaux

Attributs de texture

Ak

k kk

kkA RaRa

RaRaRRS

1 21

2121 ))(),(max(

))(),(min(1),( ak(Ri) attribut géométrique de la région Ri . A = nombre

d’attributs utilisés . Moment spatial, taille, nombre de pixels, etc.

B

Mise en correspondance de régions

Tébourbi Riadh, SUP'COM 2005 73

C

Mise en correspondance de régions

Tébourbi Riadh, SUP'COM 2005 74

C

Carte des disparités

Tébourbi Riadh, SUP'COM 2005 75

Idéale

Difficultés de l’appariement

Tébourbi Riadh, SUP'COM 2005 76

• Correspondance difficile (voire impossible) dans les zones faiblement texturées.

• Ceci quelque soit l’approche utilisée.

Difficultés de l’appariement

Tébourbi Riadh, SUP'COM 2005 77

Les points ne sont pas forcément dans le même ordre dans

les deux images.

Difficultés de l’appariement

Tébourbi Riadh, SUP'COM 2005 78

Les tailles et distances ne sont pas les mêmes d’une image à l’autre.

Difficultés de l’appariement

Tébourbi Riadh, SUP'COM 2005 79

Occlusions : des objets ou parties d’objets sont cachés. La correspondance n’existe pas dans ce cas.

Tébourbi Riadh, SUP'COM 2005 80

Carte des disparités

Tébourbi Riadh, SUP'COM 2005 81

Interpolation de la carte des disparités

Images stéréo

Plane

Polynomiale

Rationnelle

Interpolations

Mise en correspondance

Images des disparités calculées

Nature de la scène

Médiane . . .

Tébourbi Riadh, SUP'COM 2005 82

Image disparités

seuil=0.8

Filtre médian Fenêtre 3*3

Filtre médian Fenêtre 5*5

Filtre médian Fenêtre 7*7 Modèle 3-D

Image gauche

Interpolation médiane

Tébourbi Riadh, SUP'COM 2005 83

Interpolation rationnelle

Image gauche Image des hauteurs: seuil =0.8

Résultat de l’interpolation

rationnelle

Tébourbi Riadh, SUP'COM 2005 84

Densification : interpolation médiane

Densification : interpolation rationnelle

Densification : interpolation plane

Carte des disparités

Tébourbi Riadh, SUP'COM 2005 85

Calcul des coordonnées 3D

0vmmvZmZmvYmYmvXmXm0ummuZmZmuYmYmuXmXm

i3424iW33W23iW32W22iW31W21

i3414iW33W13iW32W12iW31W11

i=1,2

mij connus

(u1,v1), (u2,v2) connus

Système de 4 équations 3 inconnues

Résolution par moindres carrés.

Tébourbi Riadh, SUP'COM 2005 86

Modélisation 3D

Etalonnage

Etalonnage

Tébourbi Riadh, SUP'COM 2005 87

Modélisation 3D

Tébourbi Riadh, SUP'COM 2005 88

Visualisation 3D

Visualisation 3D

Tébourbi Riadh, SUP'COM 2005 89

Tébourbi Riadh, SUP'COM 2005 90

Navigation 3D

Tébourbi Riadh, SUP'COM 2005 91

Influence des paramètres d’acquisition

BH

H, B Résolutions?

Tébourbi Riadh, SUP'COM 2005 92

Influence des paramètres d’acquisition

BH

Compromis

HaRR yx 2

BH)B,H(Rz

B

H 2

A

1

BH

)1(21 HZ

HB

ZHBuud wu

w

u

Tébourbi Riadh, SUP'COM 2005 93

Estimation de la matrice fondamental

Problème appelé Calcul de la « géométrie épipolaire » ou « Etalonnage faible »

1112 )( IEIF

t

0 12 mFm tExprime la relation qui existe entre les

coordonnées images (en pixels) gauche (u1,v1) et droite (u2,v2), décrivant, ainsi, la géométrie

épipolaire

Avec étalonnage:

Sans étalonnage ?

Tébourbi Riadh, SUP'COM 2005 94

Estimation de la matrice fondamental

F peut estimée calculée à partir de l'ensemble des points homologues

0 12 mFm t m1(u1,v1) et m2(u2,v2)

0KFK= [u1u2, v1u2,u2,u1v2,v1v2,v2,u1,v1,1]

et

tFFFFFFFFFF ],,,,,,,,[ 333231232221131211

F définie à un facteur multiplicatif près On peut poser F33 = 1

Avec

Tébourbi Riadh, SUP'COM 2005 95

Estimation de la matrice fondamental

0 12 jtj mFm 0FK j

Pour un couple j de points homologues on peut écrire

Pour n points (n>7) homologues: système linéaire n équations à 8 inconnus.

Résolution

Méthodes linéaires: pseudo inverse, SVD, etc.. (très sensibles au bruit )

Méthodes non linéaires: Least Median of Squares ou LMedS, RANSAC

Tébourbi Riadh, SUP'COM 2005 96

Estimation de la matrice fondamental par LMedS

En entrée: n correspondances extraites des deux images stéréoscopiques

l’utilisation d’une d'optimisation basée sur la distance aux lignes épipolaires de deux points m1(u1,v1,1)t et m2(u2,v2,1)t:

),(),(),,( 212

122

212 mFmdmFmdFmmr

)()(),(

112

2

2

1

1212

mFmFmFm

mFmd

(Fm1)k est le k-ième élément du vecteur Fm1.

Tébourbi Riadh, SUP'COM 2005 97

Détection et appariement de points d'intérêts

Image gauche Image droite

Extraction de points d'intérêt Extraction de points d'intérêt

Mise en correspondance des points d'intérêt

Calcul de la matrice fondamentale

Tébourbi Riadh, SUP'COM 2005 98

Extraction des points d’intérêt

Plusieurs détecteurs « corners detectors  »

•Les méthodes fonctionnant en 2 étapes : détermination de contours chaînés puis détermination des points du contour de courbure maximale

•Les méthodes opérant directement sur les intensités de l’image et basée sur la mesure du gradient et de la courbure

Moravec

Susan

Harris

Tébourbi Riadh, SUP'COM 2005 99

Exemple résultat Harris

Tébourbi Riadh, SUP'COM 2005 100

Appariement des points d’intérêts

Corrélation + relaxation

La matrice fondamentale peut être calculée

Tébourbi Riadh, SUP'COM 2005 101

Rectification

Image gauche Image droite

Extraction de points d'intérêt Extraction de points d'intérêt

Mise en correspondance des points d'intérêt

Calcul de la matrice fondamentale

Calcul des matrices de rectification

Rectification

Mise en correspondance

Tébourbi Riadh, SUP'COM 2005 102

Rectification

Objectif: trouver deux matrices H1 et H2 de rectifications

0Fmm 1t

2 Pour deux points correspondants:

Matrice fondamentale des images rectifiées:

010100

000F0

Une première paire de matrices de rectification H01 et H02, il suffit de décomposer F en valeurs singulières : 020

t01 HFHF

Tébourbi Riadh, SUP'COM 2005 103

Famille des matrices de rectification

L'ensemble des paires de matrices de rectification (H1,H2) se déduisent de H01 et H02 par les relations:

0111 HTH 0222 HTH

ih0fe0cba

T1

ih0fe0'c'b'a

T2

Variété de dim. 9

Trouver deux paires de rectification qui distordent le moins possible les images

Tébourbi Riadh, SUP'COM 2005 104

Exemples

Calcul d’une paire de matrices de rectification

Tébourbi Riadh, SUP'COM 2005 105

2

21

2

2121 )()( ),( vvuummdd

Poser des contraintes

1) d'=u'2-u'1 =d

Calcul d’une paire de matrices de rectification

Tébourbi Riadh, SUP'COM 2005 106

2) Conservation des lignes épipolaires calculer les coins de l’image rectifiée

)(* ' ,0 ' CCC CosLigvu

0 ' ),( ' vCosColu AAA ' ' ),( ' LigvCosColu DDD

)(* ,' ' BBB SinColv'Colu

Rectifier l'image revient à transformer les lignes épipolaires en lignes parallèles et horizontales et envoyer l'épipole e1 à l'infini.

Eviter de compresser ou d’allonger les lignes épipolaires lors de la rectification et de déformer ainsi les images, la dimension de l'image rectifiée est d'abord calculée

Tébourbi Riadh, SUP'COM 2005 107

COMPLEMENTS

Tébourbi Riadh, SUP'COM 2005 108

Méthode du pseudo-inverse

Résoudre le système d’équations linéaires suivant 

CQK Q = vecteur n (inconnus)

K = Matrice m*n

C = vecteur n

Tébourbi Riadh, SUP'COM 2005 109

Méthode du pseudo-inverse

K.Q-C=e CQK e représente un vecteur erreur

La meilleure solution Q est celle qui minimise le module du vecteur erreur

On cherche Q tel que eee t 2 soit minimum

CCCKQKQK

CCCKQKQCKQK

CKQCKQee

tttt

ttttt

tt

2Q

Q

)()(

t

t

En différenciant par rapport à Q, on obtient : 0CKKQK tt

La matrice (KtK)-1Kt CK)KK(Q t1t

Tébourbi Riadh, SUP'COM 2005 110

Géométrie des images rectifiées

ZHXuu

u

g

0

ZHYvv

v

g

0

ZHYvv

v

d

0

ZHBXuu

u

d

0

0

0

)(

)(

vZH

Yv

uZH

Xu

vg

ug

0

0

)(

)(

vZH

Yv

uZHBX

u

vd

ud

ZHBuudisparité u

dg

Caméra gauche Caméra droite

100010001

R

HTg 0

0

H

BTd 0

HHvvHuu

M v

u

g

1000

0

00

00

HHvv

HuBuM v

uu

d

1000

0

00

00

Recommended