1

Auto-Calibrage à partir de Deux Vues et de la Projection d’un Motif Lumineux

Thierry Molinier> bismo77@yahoo.fr

David Fofi> d.fofi@iutlecreusot.u-bourgogne.fr

Le2i UMR CNRS 5158Université de Bourgogne12, rue de la Fonderie71200 Le Creusot (France)http://www.le2i.com

2

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

Contexte

Etude et conception d’un capteur de vision en lumière structurée imperceptible.

Utilisation du capteur dans le cadre d’une stratégie de vision active.

Objectif

Auto-calibrage du capteur et reconstruction 3D dans un espace métrique.

Plaquage des textures sur les surfaces reconstruites en une seule prise de vue.

Etude des séquences « imperceptibles », segmentation et fusion des images.

3

Lumière structurée imperceptible

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

4

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

Scène

Caméra 1 : synchronisée à la projection du premier motif

Caméra 2 : Long temps d’intégration

Principe

Un motif lumineux et son complémentaire sont projetés à haute fréquence sur la scène et observés par deux caméras : la première synchronisée sur la projection du premier motif, la seconde observant la scène en continue avec un long temps d’intégration.

5

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

+ =

Motif

Motif résultant

Motif complé

mentaire

Si la fréquence de projection dépasse la Fréquence Critique

de Fusion (FCF ≈ 75 Hz), le motif et son complémentaire sont visuellement intégrés dans le temps. Le résultat pour l’œil (et pour la seconde caméra en ajustant son temps d’intégration) est une illumination homogène.

6

Avantages

Signal non-invasif : le motif est invisible à l’œil.

Le capteur fournit les informations de couleur et de texture, contrairement aux capteurs de vision en lumière structurée classique.

Calcul du flot optique possible (caméra 2) dans le cas d’un capteur en mouvement (impossible dans le cas classique : perte des points 3D).

Contraintes

Capteur hétérogène : 2 caméras et 1 projecteur, aux paramètres intrinsèques généralement différents.

Limité à 3 vues (1 projection + 2 images). Un déplacement du projecteur équivaut à une perte des points 3D.

Mise en correspondance entre l’image 2 et le motif ?

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

7

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

CAMERA 1

CAMERA 2 VIDEO-PROJECTEUR

Un exemple de capteur trinoculaire

8

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

Méthode

9

Le tenseur trifocal1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

10

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

Cube matriciel 3x3x3

Décrit la géométrie épipolaire pour trois vues comme la matrice fondamentale le fait pour deux vues.

Calcul (18 ddl et 27 éléments)

Contraintes épipolaires : relations de tri-linéarité

Définition

11

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

Tri-linéarités

12

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

Méthodes d’estimation

Méthode simple: solution directe linéaire Méthode itérative Méthode minimale : 6 points

13

Hors-ligne Un motif est projeté continûment Les deux caméras perçoivent le motif : la mise en correspondance est cette fois possible entre le motif et l’image 2

Calcul pratique

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

14

Auto-calibrage1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

15

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

Axe optique

Repère du monde

Repère de la caméra

Repère rétinien

Repère image

x

x

y

y

z

z

(u0, v0)

Modèle caméra/projecteur

Paramètres extrinsèques

Paramètres intrinsèques

16

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion15 ddl

Géométrie

projective

12 ddlPlan à l’infiniparallèlisme

Géométrie

affine

Géométrie

métrique

7 ddlconic absolu

angles, rel.dist.

Principe de l’auto-calibrage

Rappel : du tenseur on extrait les matrices projectives

2 méthodes : itérative et intuitive

3 étapes (stratification)

17

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

Où K est la matrice de calibration (paramètres intrinsèques) et vT est le plan de l’infini.

COMMENT ESTIMER K et vT ????

Mise en équation

18

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

Conique et quadrique absolues

est une conique imaginaire dans le plan ,

de formule

ou

Son image est reliée à la matrice des paramètres

intrinsèques K, puisque est invariante auxmouvements rigides (rotation + translation) :

elle ne dépend donc que de K !

0Xet 0XXX 423

22

21

πdans )X,X,(X)X,X,(X 321321TI

19

Le dual de la quadrique absolue * de

code la conique absolue et le plan

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

Le dual de la conique absolue

20

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

Tii

Tiii Ωω KKPP

Mise en équation

21

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

Contraintes sur

1

ω 22

222

*

yx

yyyyxy

xyxyxx

cc

ccfccsf

cccsfcsf

Zero skew quadratique m

Principal point linéaire 2m

Zero skew (& p.p.) linéaire m

ratio fixe quadratique m-1

ratio connu linéaire m

Distance focale linéaire m

*23

*13

*33

*12 ωωωω

0ωω *23

*13

0ω*12

*11

*22

*22

*11 ω'ωω'ω

*22

*11 ωω

*11

*33 ωω

hypothèse contrainte type #constraints

22

Résultats expérimentaux

Données de synthèse non bruitées, puis bruitées :

- Validité du tenseur

- Erreurs dans les espaces projectif & métrique

Travaux en cours :- Robustesse des algorithmes

- Expérimentations sur données réelles

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

23

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. ConclusionMatrice fondamentale

Tenseur trifocal

Tenseur trifocal

Résultats obtenus à partir de données simulées non-bruitées.

24

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

erreur points - intersection droites epipolaires

0200400600800

1000120014001600

0 0,2 0,4 0,6 0,8 1 1,2

sigma

erre

ur(%

)

lineaire iterative ransac

Tenseur trifocal

25

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

erreur retro-projection

0,00E+00

1,00E+02

2,00E+02

3,00E+02

4,00E+02

5,00E+02

0 0,1 0,2 0,3 0,4 0,5 0,6

sigma

erre

ur

(%)

itérative ransac lineaire

Reconstruction projective

26

erreur retroprojection

0,00E+002,00E+004,00E+006,00E+008,00E+001,00E+011,20E+011,40E+011,60E+01

0 0,1 0,2 0,3 0,4 0,5 0,6

sigma

err

eu

r

ransac ransac corrigé

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

Reconstruction projective

27

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

Distance focale

28

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

Reconstruction métrique

Objet original

Objet reconstruit

29

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

Objet reconstruit

Reconstruction métrique

Objet original

30

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

Même scène que précédemment : quand le bruit devient trop grand, l’algorithme de reconstruction

dégénère.

Reconstruction métrique bruitée

31

1. Introduction

2. Lumière Structurée Imperceptible

3. Tenseur Trifocal

4. Auto-Calibrage

5. Résultats Expérimentaux

6. Conclusion

Méthode d’auto-calibrage à partir de trois vues hétérogènes validée.

Robustesse pour la retro-projection

Ajout de contraintes dans les algorithmes

Rendre les méthodes de résolution plus robustes à chaque étape

Expérimentations avec le capteur réel

Segmentation des images

Plaquage des textures sur les surfaces reconstruites

Conclusion

32