Reconstruction 3 D

Tébourbi Riadh, SUP'COM 2005 1

IMAGERIE 3D

08/10/2007

Ecole Supérieure des Communications de Tunis

CoursTébourbi Riadh

Quelques références


- R. Horaud & O. Monga. Vision par Ordinateur : Outils Fondamentaux, Editions Hermès, 1995.

http://www.inrialpes.fr/movi/people/Horaud/livre-hermes.html

- Olivier Faugeras. Three-Dimensional Computer Vision, MIT Press, 1993.

- Frederic Devernay. Vision par Ordinateur. INRIA (France).http://devernay.free.fr/cours/vision

- Joshua Gluckman. Computer Vision. Polytechnic University (USA).http://cis.poly.edu/cs664/0

Contexte


Vision par ordinateur : branche de l’IA dont le but est de permettre à une machine de comprendre ce qu'elle «voit » lorsqu'on la connecte à une ou plusieurs caméras.

ne cherche pas à comprendre ou à reproduire la vision humaine, mais à construire un modèle algorithmique qui, vu de l'extérieur, possède des propriétés semblables.


Vision binoculaire

Perception 3D

Objet 3D

1er point de vue

2ème point de vue

Problème difficile de la vision artificielle

Vision 3D


Vision 3D :

Méthodes passives : Méthodes actives :

-Acquisition directe de la profondeur

- Analyse de déphasage ou de distorsion du signal

émis

- Stéréoscopie (deux images ou plus)

- Monoscopie (une seule image) : étude des formes

Introduction


Méthodes actives : ultra-sons, lumière cohérente, faisceau laser...

L ’information 3-D est directement acquise par analyse de déphasage ou de distorsion du signal.

Techniques coûteuses.Objets étudiés proches et immobiles.

Exemples d’imagerie 3D: Imagerie médicale (Tomographie CT, scanner X, résonance magnétique nucléaire), Holographie,…

Méthodes actives


Une seule image : étude des formes à partir de l’ombrage, analyse de texture…

Deux images ou plus : Stéréovision

L ’information 3-D est obtenue par recherche de points homologues entre deux images ou plus : la différence de projection du même point physique appelée disparité est directement liée à l ’élévation.

Invention du premier stéréoscope (1838).

La stéréovision reproduit le processus de la vision binoculaire chez l’homme.

Méthodes passives


M

Image gauche

Reconstruction 3D

Mise en correspondance

Image droite

Modèle caméra gauche Modèle caméra droite

m1 m2

Stéréovision: Principe


Etapes de la reconstitution 3D par stéréovision

•Acquisition stéréoscopique•Etalonner les deux caméras: Modélisation des capteurs connaissance du modèle de projection relation coordonnées 3D/2D

•Trouver les points correspondants m1/m2 dans les deux images: Mise en correspondance

•Calculer les coordonnées 3D: Reconstruction 3D


Acquisition : Photos

•2 appareils photos (numériques).

HB

A


- Acquisition instantanée

- Centre optique fixe pour une image

Perspective conique

Axe de vol

Acquisition : Stéréoscopie aérienne


orbite

- Acquisition non instantanée

- Centre optique mobile

Perspective subcylindro

conique

Acquisition : Stéréoscopie satellitaire


orbite

Jème jour (J+cycle)ème jour

Couverture stéréoscopique

Stéréoscopie verticale Stéréoscopie satellitaire


orbite

Instant t

Instant t+90s


Stéréoscopie avant-arrière : cas de HRS Stéréoscopie satellitaire :


Stéréoscopie satellitaire

Jour j

Jour j’Orbite descendante

Orbite ascendante


Stéréoscopie latérale : cas de HRG


Exemples d’images stéréoscopiques

Photos


Aériennes


Satellitaires (SPOT5)


Satellitaires (IKONOS)

Modélisation du capteur




BUT: Déterminer le modèle géométrique associé au processus de saisie d'une image stéréoscopique à l'aide d'une caméra (capteur) déterminer les paramètres liés à ce modèle.

Déterminer relation coordonnées Image/scène

Modéliser


- Acquisition instantanée

- Centre optique fixe pour une image

Perspective conique

Axe de vol

Géométrie d’une caméra « sténopé »


Barrette CCD

Orbite du satellite

Sens du défilement

balayage push broom

Perspective coniquepar ligne

Géométrie du capteur SPOT


Modèle “ à trou d’épingle”

Ou modèle sténopé ou « pinhole model »

Ce modèle considère que la transformation opérée par la caméra est une transformation perspective parfaite, de centre C (le centre optique de la caméra).

CP

p



Modèle “ à trou d’épingle”

b)

a)

Rc

Rw

m2(u,v)

m1(u,v)

P(Xw,Yw,Zw)

C2C1

ZY

X

u

v

b) Projection

a) Transformation R + T

S: facteur d’échelleM: matrice 3 4

1ZYX

M w

w

w

ssvsu

0vmmvZmZmvYmYmvXmXm0ummuZmZmuYmYmuXmXm

3424W33W23W32W22W31W21

3414W33W13W32W12W31W11

I- Géométrie d’une caméra


b) Une projection qui transforme un point de l’espace 3D dans le repère de la caméra (X,Y, Z) en un point 2D de coordonnées (u,v) de l’image

vZYKfv ; uZ

XKfu 0v

0u

Ku et Kv facteurs d’échelle de l’image respectivement dans la direction de u et de v(pixels/mm), f : focale exprimée en mm et u0 et v0 :coordonnées en pixels du centre de l'image

1ZYX

000

1vu

0

0

00

ssvsu

0

0

v

u

KfKfAvec vu vu et

u0, v0, u et v représentent les paramètres intrinsèques de la caméra


Remarque

; 00 vyvuxu vu

)ZYy,

ZXx( Si on pose

alors

pIm

1000

0

0

0

vu

I v

u

1vu

mavec et

Soit:


a) Une transformation qui lie les coordonnées d’un point Pw(Xw,Yw,Zw) de l’espace 3D à ceux dans le repère de la caméra (X,Y,Z).

= transformation rigide qui se compose d’une rotation et d’une translation

TZYX

RZYX

W

W

W

z

y

x

333231

232221

131211

TTT

RRRRRRRRR

R T et

Les termes de R et de T sont appelés les paramètres extrinsèques de la caméra


1ZYX

A

1ZYX

W

W

W

TZYX

RZYX

W

W

W

Peut s’écrire:

10TR

1000TRRRTRRRTRRR

Az333231

y232221

x131211

Avec:


1ZYX

000

1vu

0

0

00

ssvsu

0

0

v

u

Et

1ZYX

A

1ZYX

W

W

W

Donnent:

1ZYX

Mssvsu

W

W

w

M (34) appelée la matrice de projection de la caméra


34333231

24232221

14131211

mmmmmmmmmmmm

M

10TR

01000v00u0

M 0v

0u

1ZYX

Mssvsu

W

W

wRésumé


Relation 2D/3D

34W33W32W31

24W23W22W21i

14W13W12W11i

mZmYmXms

mZmYmXmsv

mZmYmXmsu

iii

iii

iii

1ZYX

Mssvsu

W

W

w

Elimination de s

0vmmvZmZmvYmYmvXmXm

0ummuZmZmuYmYmuXmXm

3424W33W23W32W22W31W21

3414W33W13W32W12W31W11

. Relations linéaires entre (u,v) et (Xw,Yw,Zw).

. Si 2 caméras ou plus alors 4 équations ou plus pour 3 inconnues.

Trouver les coefficients de M ?


Etalonnage de la caméra

L’étalonnage de la caméra = calcul des coefficients mij de M

•A partir des coordonnées 3D: Pwi=(Xwi,Ywi,Zwi) de N points et de leurs projections dans l’image : (ui,vi)

• N points (N 6 ) 2N (2N 12) équations pour 12 inconnues. Nous avons un système a 2N équations linéaires.


Etalonnage (suite)

Utilisation une mire•Contient un ensemble de points dont les coordonnées (3D) sont connues •Les Coordonnées 2D sont repérés dans l’image.

GPS

Exemple:


Etalonnage (suite)

Pour chaque point i :

1i N

Résoudre un système linéaire homogène à 2N équations:


Etalonnage (suite)

Le système peut être écrit:

)4(3434

3332312423222114131211

10000

00001

12i ligne2

mivmiu

mmmmmmmmmmm

iWZiviWYiv

iWXiviWZ

iWYiWX

iWZiuiWYiu

iWXiuiWZ

iWYiWXiligne

Il faut éviter la solution évidente mij=0 Poser des contraintes.


Etalonnage (suite)

Pour pouvoir poser des contraintes sur des mij regardons la matrice M en fonction des paramètres intrinsèques et extrinsèques:

z

zyvvvv

zxuuuu

TRRR

TvTRvRRvRRvRTuTRuRRuRRuR

M

333231

0330233202231021

0330133201231011

Contrainte m34 0 (m34 = Tz)

2 contraintes :


Etalonnage (suite)

R31, R32 et R33 sont les éléments d’une matrice de rotation R :

))cos(cos())cos(sin(-)sin(

))cos(sin())sin()sin(cos( )cos()cos()sin()sin()sin( ))sin(cos(-))sin(sin())cos()sin(cos(- )sin()sin()cos()sin()sin( )cos()cos(

R

Nous pouvons écrire: 1233

232

231 RRR

Donc contrainte :

333332323131 met , RRmRm Or

1233

232

231 mmm


Etalonnage (suite)Utilisation de la contrainte m34 0 : on divise le système d’équations par m34 on obtient:

CQK

soit

iviu

qqqqqqqqqqq

iWZiviWYiv

iWXiviWZ

iWYiWX

iWZiuiWYiu

iWXiuiWZ

iWYiWXiligne

)6(

3332312423222114131211

10000

00001

12i ligne2

Nous cherchons les qij = mij/m34

Résolution de ce système par la méthode des moindres carrés (pseudo-inverse):

)7( )( 1 CKKKQ tt


Etalonnage (suite)

Une fois les qij trouvés nous cherchons les mij sachant que:

1233

232

231 mmm Soit: 2

34233

232

231 /1 mqqq

233

232

231

341

qqqm

D’où

Et 4)j3,(i m34 ijij qm


Calcul des paramètres intrinsèques et extrinsèques de la caméra

M =(mij) : fonctions des paramètres intrinsèques et extrinsèques.

En tenant compte de:

- La matrice R est orthogonale

- L’origine du repère de la scène Ow est toujours devant la caméra (Tz>0)

On obtient:

33

3022

3011

34232

24

34231

14

20222

20112

3220

3120

34

33

1

1

1

1

1

1

1

1

mk

r

kmvm

r

kmum

r

mkmm

mk

T

mkmm

mk

T

vmmk

ummk

mmk

v

mmk

u

mk

T

mmk

v

u

t

vy

t

ux

tv

tu

t

t

z

t


Précision de l’étalonnage

Pour vérifier la précision du calibrage nous pouvons calculer deux erreurs :

Une erreur commise sur l’orthogonalité de la matrice R : La matrice R est une matrice de rotation et doit vérifier:

1233

232

231 RRR

Une erreur calculée en reconstituant les coordonnées (ui,vi) des points de référence (coordonnées de ces points utilisées pour le calcul des coefficients de M). Après calibration nous pouvons recalculer les coordonnées (uci,vci) de ces points de référence et calculer l’erreur :

22

1

)()(

1

iiiii

Ni

ii

vcvucuaavec

aN

e

qui est la moyenne des erreurs résiduelles et:

Ni

ii ea

N 1

2)(1

qui est la variance de ces erreurs.


Géométrie d’un système stéréoscopique

1) Position relative des deux caméras

2) Géométrie épipolaire

3) La matrice essentielle

4) La matrice fondamentale


Position relative des deux caméras

wii

c PAP

1ZYX

A

1ZYX

W

W

W

Pour chaque caméra i

Pw=(Xw,Yw,Zw)t tiii

ic ZYXP ),,(

Rappel:

10

1000333231

232221

131211

iii

ziii

iy

iii

ix

iii

i

TRTRRRTRRRTRRR

A


Pour les deux caméras, nous pouvons alors écrire

wc

wc

PAP

PAP

22

11

En éliminant Pw entre les deux équations, nous obtenons:

1cs

2c PAP 1

12 AAAsavec

As est une matrice décrivant la transformation rigide « repère caméra gauche/repère caméra droite » et peut être représentée par une matrice de rotation Rs et un vecteur translation Ts

10

TsRs

1000TsRsRsRsTsRsRsRsTsRsRsRs

Asz333231

y232221

x131211

z

y

x

TsZRsYRsXRsZ

TsZRsYRsXRsYTsZRsYRsXRsX

1331321312

1231221212

1131121112


En introduisant dans cette dernière équation les coordonnées de la projection de Pw dans l'image rétinienne gauche

)ZY

y,ZX

x(1

11

1

11

et droite

)ZY

y,ZX

x(2

22

2

22

, nous pouvons écrire :

z13311321131

y12311221121

2

22

z13311321131

x11311121111

2

22

TsZRsZyRsZxRsTsZRsZyRsZxRs

ZY

y

etTsZRsZyRsZxRsTsZRsZyRsZxRs

ZX

x


En éliminant Z1 0cbyax 22

)RsTsRsTs(y)RsTsRsTs(x)RsTsRsTs(c)RsTsRsTs(y)RsTsRsTs(x)RsTsRsTs(b

)RsTsRsTs(y)RsTsRsTs(x)RsTsRsTs(a

13y23x112y22x111y21x

33x13z132x12z131x11z

23z33y122z32y121z31y

Avec:

équation qui décrit l'ensemble des points (x2,y2) de l'image de droite pouvant correspondre à un point (x1,y1) de l'image gauche

= une droite appelée droite épipolaire

Le correspondant d'un point de l'image gauche se trouve forcément sur une ligne épipolaire dans l'image droite


Géométrie épipolaire

m1 m2

e1

e2

M

C2

C1

Image 1 Image 2

e1 et e2 sont appelés les épipoles

Le faisceau de lignes qui passent par e1 dans image1 et par e2 dans image2 sont appelées les lignes épipolaires

Pour chaque point m1 de image1, son correspondant m2 dans image2 se trouve sur une ligne épipolaire Im1

Contrainte épipolaire


Un point dans l’image gauche se situe sur la droite épipolaire correspondante dans l’image droite

Exemple



La matrice essentielle

Coefficients de la droite épipolaire:

0cbyax 22 Droite épipolaire

1yx

RsRsRsRsRsRsRsRsRs

0TsTsTs0Ts

TsTs0

cba

1

1

333231

232221

131211

xy

xz

yz

qui peut s'écrire, en introduisant la matrice E, sous la forme:

1yx

Ecba

1

1


La matrice essentielle

0cba

)1yx( 22

Equation de la droite épipolaire peut s’écrire:

1yx

Ecba

1

1

et Donne: 0 12 pEp t pi=(xi,yi,1)t avec

E est appelée la matrice essentielle

E: décrit la transformation épipolaire gauche-droite et donne l'équation de la droite épipolaire droite

Transformation épipolaire droite-gauche Et 0pEp 2tt

1


La matrice fondamentale

Rappel: pour chaque caméra i:

iii pIm

100v0u0

I 0v

0u

i

1vu

m i

i

iavec et

0 12 pEp tEn remplacant dans

0 )( 112211 mIEIm

ttNous obtenons

1112 )( IEIF

t= matrice fondamentale (3x3)

0 12 mFm t

Exprime la relation qui existe entre les coordonnées images (en pixels) gauche (u1,v1) et

droite (u2,v2), décrivant, ainsi, la géométrie épipolaire



(Xw,Yw,Zw) (scène) projections (U1,V1) (image gauche) et (U2,V2) (image droite)


i3424iW33W23iW32W22iW31W21

i3414iW33W13iW32W12iW31W11

i=1,2

Pour chaque pixel dans image gauche: recherche de son correspondant dans image droite: un problème de mise en correspondance ou appariement


Problème simplifié: a) contrainte épipolaire

m1 m2

e1

e2

M

C2

C1

Image 1 Image 2

Analytiquement:

0111

1

2

2

vu

Fvu

F: matrice fondamentale (3x3)

Mise en correspondance (suite)


Contrainte épipolaire

Image de référence Image de recherche

Ligne épipolaire

m

C1

C2

Espace de recherche monodimensionnel (≈ ligne)


Mise en correspondance (suite)

Problème encore simplifié: b) Rectification des images

m 1

m2

m’1m’2

u’1 u’2

disparité: d = u’2 – u’1


dd’

Exemple


Géométrie des images rectifiées

Paramètres:

H

B

m1m2

u1 u2

disparité: d = u’2 – u’1


Géométrie des images rectifiées (2)

La géométrie des deux caméras peut être décrite seulement par la distance qui sépare les deux centres optiques B et la hauteur des deux caméras H

Matrices de rotation (égales) :

100010001

R0

Vecteurs de translation:

H0B

T01

H00

T02

100001000010B001

As0Transformation rigide gauche-droite (simple translation)


Géométrie des images rectifiées (3)

Matrice essentielle:

0B0B00000

E0

Matrice fondamentale:

010100

000F0

100v0u0

I 0v

0u

i

Si pour les deux caméras αu = αv w

u21 ZH

Buud

Disprité = f(Zw,B,H)



Objectif:Trouver, pour un élément géométrique dans une image (résultant d'une projection d'un objet 3D de la scène sur l'image), sont élément homologue ( ou correspondant) dans l'autre image

Mise en correspondance de primitives•points d’intérêt •segments / contours•régions

Mise en correspondance densechaque pixel est apparié


Mise en correspondance par corrélation

p

l l

fenêtre de corrélation

fenêtre de recherche

Image gauche Image droite

)var()var(),cov(

21

21

FFFFncorrélatio

dmin dmax

rseuilrvuCMaxArgd ))),,(((

exemple



Approche hiérarchique]

4,

4[ maxmin dd

]2

,2

[ maxmin dd

],[ maxmin dd

Sous-échantillonnage de facteur 2

Sous-échantillonnage de facteur 2Reconstruction

grossière

Reconstruction fine


Approche hiérarchique


Approche hiérarchiqueCo

nstr

ucti

on d

‘une

pyr

amid

e

Prop

agat

ion

de la

dis

pari

é

•Rapidité

•Intervalle de disparité large

Approche par régions


Extraction de régions

Extraction de régions


Carte de disparité

Besoin de moyens d’extraction de régionsSegmentation par

•Détecteurs de contours•Morphologie mathématique•Contours actifs•Et

Classification

A

B

C

Détection de contours


Régions Fermeture de contours

Élimination des contours orphelins

Buit pré-filtrage des images

A

Classification


Non connaissance a priori du contenu de la scèneContenu diversifié

tenir compte des zones texturées

Méthodes Non superviséesFCM, Agglomération Compétitive, etc.

Classification spectrale ou spatiale (texture)Texture: ondelettes complexes, Gabor, etc.

A

Mise en correspondance des régions


• À base de contraintes géométriques– Contrainte épipolaire– Contrainte de domaine de disparité

• À base du contexte de l’objet– Contrainte de rapport de taille– Contrainte de similarité

Restriction du domaine de recherche

B

Critère de similarité


),(),(),( 212121 RRSRRSRRS TA

Attributs spatiaux

Attributs de texture

Ak

k kk

kkA RaRa

RaRaRRS

1 21

2121 ))(),(max(

))(),(min(1),( ak(Ri) attribut géométrique de la région Ri . A = nombre

d’attributs utilisés . Moment spatial, taille, nombre de pixels, etc.

B

Mise en correspondance de régions


C

Mise en correspondance de régions


C

Carte des disparités


Idéale

Difficultés de l’appariement


• Correspondance difficile (voire impossible) dans les zones faiblement texturées.

• Ceci quelque soit l’approche utilisée.



Les points ne sont pas forcément dans le même ordre dans

les deux images.



Les tailles et distances ne sont pas les mêmes d’une image à l’autre.



Occlusions : des objets ou parties d’objets sont cachés. La correspondance n’existe pas dans ce cas.




Interpolation de la carte des disparités

Images stéréo

Plane

Polynomiale

Rationnelle

Interpolations


Images des disparités calculées

Nature de la scène

Médiane . . .


Image disparités

seuil=0.8

Filtre médian Fenêtre 3*3

Filtre médian Fenêtre 5*5

Filtre médian Fenêtre 7*7 Modèle 3-D

Image gauche

Interpolation médiane


Interpolation rationnelle

Image gauche Image des hauteurs: seuil =0.8

Résultat de l’interpolation

rationnelle


Densification : interpolation médiane

Densification : interpolation rationnelle

Densification : interpolation plane



Calcul des coordonnées 3D


i3424iW33W23iW32W22iW31W21

i3414iW33W13iW32W12iW31W11

i=1,2

mij connus

(u1,v1), (u2,v2) connus

Système de 4 équations 3 inconnues

Résolution par moindres carrés.


Modélisation 3D

Etalonnage

Etalonnage


Modélisation 3D


Visualisation 3D

Visualisation 3D



Navigation 3D


Influence des paramètres d’acquisition

BH

H, B Résolutions?


Influence des paramètres d’acquisition

BH

Compromis

HaRR yx 2

BH)B,H(Rz

B

H 2

A

1

BH

)1(21 HZ

HB

ZHBuud wu

w

u


Estimation de la matrice fondamental

Problème appelé Calcul de la « géométrie épipolaire » ou « Etalonnage faible »

1112 )( IEIF

t

0 12 mFm tExprime la relation qui existe entre les

coordonnées images (en pixels) gauche (u1,v1) et droite (u2,v2), décrivant, ainsi, la géométrie

épipolaire

Avec étalonnage:

Sans étalonnage ?



F peut estimée calculée à partir de l'ensemble des points homologues

0 12 mFm t m1(u1,v1) et m2(u2,v2)

0KFK= [u1u2, v1u2,u2,u1v2,v1v2,v2,u1,v1,1]

et

tFFFFFFFFFF ],,,,,,,,[ 333231232221131211

F définie à un facteur multiplicatif près On peut poser F33 = 1

Avec



0 12 jtj mFm 0FK j

Pour un couple j de points homologues on peut écrire

Pour n points (n>7) homologues: système linéaire n équations à 8 inconnus.

Résolution

Méthodes linéaires: pseudo inverse, SVD, etc.. (très sensibles au bruit )

Méthodes non linéaires: Least Median of Squares ou LMedS, RANSAC


Estimation de la matrice fondamental par LMedS

En entrée: n correspondances extraites des deux images stéréoscopiques

l’utilisation d’une d'optimisation basée sur la distance aux lignes épipolaires de deux points m1(u1,v1,1)t et m2(u2,v2,1)t:

),(),(),,( 212

122

212 mFmdmFmdFmmr

)()(),(

112

2

2

1

1212

mFmFmFm

mFmd

(Fm1)k est le k-ième élément du vecteur Fm1.


Détection et appariement de points d'intérêts


Extraction de points d'intérêt Extraction de points d'intérêt

Mise en correspondance des points d'intérêt

Calcul de la matrice fondamentale


Extraction des points d’intérêt

Plusieurs détecteurs « corners detectors »

•Les méthodes fonctionnant en 2 étapes : détermination de contours chaînés puis détermination des points du contour de courbure maximale

•Les méthodes opérant directement sur les intensités de l’image et basée sur la mesure du gradient et de la courbure

Moravec

Susan

Harris


Exemple résultat Harris


Appariement des points d’intérêts

Corrélation + relaxation

La matrice fondamentale peut être calculée


Rectification


Extraction de points d'intérêt Extraction de points d'intérêt

Mise en correspondance des points d'intérêt

Calcul de la matrice fondamentale

Calcul des matrices de rectification

Rectification



Rectification

Objectif: trouver deux matrices H1 et H2 de rectifications

0Fmm 1t

2 Pour deux points correspondants:

Matrice fondamentale des images rectifiées:

010100

000F0

Une première paire de matrices de rectification H01 et H02, il suffit de décomposer F en valeurs singulières : 020

t01 HFHF


Famille des matrices de rectification

L'ensemble des paires de matrices de rectification (H1,H2) se déduisent de H01 et H02 par les relations:

0111 HTH 0222 HTH

ih0fe0cba

T1

ih0fe0'c'b'a

T2

Variété de dim. 9

Trouver deux paires de rectification qui distordent le moins possible les images


Exemples

Calcul d’une paire de matrices de rectification


2

21

2

2121 )()( ),( vvuummdd

Poser des contraintes

1) d'=u'2-u'1 =d

Calcul d’une paire de matrices de rectification


2) Conservation des lignes épipolaires calculer les coins de l’image rectifiée

)(* ' ,0 ' CCC CosLigvu

0 ' ),( ' vCosColu AAA ' ' ),( ' LigvCosColu DDD

)(* ,' ' BBB SinColv'Colu

Rectifier l'image revient à transformer les lignes épipolaires en lignes parallèles et horizontales et envoyer l'épipole e1 à l'infini.

Eviter de compresser ou d’allonger les lignes épipolaires lors de la rectification et de déformer ainsi les images, la dimension de l'image rectifiée est d'abord calculée


COMPLEMENTS


Méthode du pseudo-inverse

Résoudre le système d’équations linéaires suivant

CQK Q = vecteur n (inconnus)

K = Matrice m*n

C = vecteur n


Méthode du pseudo-inverse

K.Q-C=e CQK e représente un vecteur erreur

La meilleure solution Q est celle qui minimise le module du vecteur erreur

On cherche Q tel que eee t 2 soit minimum

CCCKQKQK

CCCKQKQCKQK

CKQCKQee

tttt

ttttt

tt

2Q

Q

)()(

t

t

En différenciant par rapport à Q, on obtient : 0CKKQK tt

La matrice (KtK)-1Kt CK)KK(Q t1t


Géométrie des images rectifiées

ZHXuu

u

g

0

ZHYvv

v

g

0

ZHYvv

v

d

0

ZHBXuu

u

d

0

0

0

)(

)(

vZH

Yv

uZH

Xu

vg

ug

0

0

)(

)(

vZH

Yv

uZHBX

u

vd

ud

ZHBuudisparité u

dg

Caméra gauche Caméra droite

100010001

R

HTg 0

0

H

BTd 0

HHvvHuu

M v

u

g

1000

0

00

00

HHvv

HuBuM v

uu

d

1000

0

00

00

Technology

Reconstruction 3 D