Reconstruction 3D par mono vision avec des trajectoires fortement contraintes Joan Solà LAAS-CNRS Toulouse, France Revue du projet PICAS$O 3 novembre 2005

Reconstruction 3D parReconstruction 3D parmono vision avec des mono vision avec des trajectoires fortement trajectoires fortement

contraintescontraintes

Reconstruction 3D parReconstruction 3D parmono vision avec des mono vision avec des trajectoires fortement trajectoires fortement

contraintescontraintes

Joan SolàLAAS-CNRS

Toulouse, France

Revue du projet PICAS$O3 novembre 2005

On parle de…On parle de…1. Observabilité du 3D en vision

2. SLAM par mesures angulaires (ou SLAM par mono vision)

3. Initialisation des Amers

4. Performances:

FDPs Gaussiennes

5. Trajectoires fortement contraintes

Utilisation du SLAM-FKE

ContenuContenu

» Observabilité en vision: pourquoi je ne fais pas la stéréo?

» Un peu de SLAM à observabilité totale

» Le Problème de l’initialisation des amers dans le SLAM par mono vision

» Le Rayon Géométrique: une représentation efficace de la FDP de la position de l’amer

» Méthodes retardées et non retardées

» Solution Temps Réel:

• L'initialisation par Partage Fédératif de l’Information (PFI)

Observabilité stéréoObservabilité stéréo

: angle qui ferme la région

Objet proche


Augmenter la base stéréoscopique

Objet lointain


Augmenter la base stéréoscopique

Objet lointain


Augmenter la précision du banc stéréo

Objet lointain


Augmenter la précision du banc stéréo

Objet lointain


Augmenter la base et la précision

Objet lointain


Augmenter la base et la précision

Problème mécanique:1. Augmenter la base fait

diminuer la précision du banc.

2. Une base longue rend impossibleun calibrage ‘a vie’.

3. Un auto calibrage en ligne serait nécessaire. Ce n’est pas facile.

Objet encore plus loin


n

minminn

: angle entre mesures

: angle qui ferme la région

: précision du système capteur


min

0

10

20

30

40

50

60

70

Base courte

Base longue avec auto calibrage

Base longue pré calibrée

Et plus loin?Et plus loin?

0

10

20

30

40

50

60

70

Base longue pré calibrée

Modélisation 3Dpar vision stéréo

Modélisation 3D par vision mono en mouvement

SLAMpar mesures

angulaires

SFMStructure

FromMotion

SLAM: de l’anglais, Simultaneous Localization And Mapping

SLAM: de l’anglais, Simultaneous Localization And Mapping

1

2

34

5

1

2

3

4

R

5

Le problème du cas angulaire:Initialisation des Amers

Le problème du cas angulaire:Initialisation des Amers

• L’approche naïve

?

Te

tactuel

tprecedent tactuel

?

Le problème:Initialisation des Amers


• Considération des incertitudes

tactuel

tprecedent tactuel

Te

Le point 3DLe point 3Dest dedansest dedans

?



• Les cas Content et Pas Content

Content

Peu Content

Pas Content

L'idée CLÉL'idée CLÉ

QuickTime™ and aTIFF (LZW) decompressor

are needed to see this picture.






are needed to see this picture.??

L’approximationinitiale

est facile

La sélection des membres est facile et sûre

Le derniermembreest facilementincorporé

Initialisationimmédiate

INITIALISATIONretardée

Définition du Rayon Géométrique

Définition du Rayon Géométrique

Définir une série géométrique de Gaussiennes

xR : position de la camera

4r4

3r3

= i / ri

= ri / ri-1

[ rmin rmax ]

Remplir l’espace entre rmin i rmax

1. Avec le nombre minimal de termes

2. Tout en respectant les contraintes de linéarisation

• Facteur de forme, base géométrique et limites de distance

• Le nombre de termes est logarithmique en rmax / rmin :

• On obtient des nombres très petits :

• Les membres étant Gaussiens, ils sont facilement manipulables

avec FKE.

Les bénéfices du Rayon Géométrique

Les bénéfices du Rayon Géométrique

Scénario rmin rmax Ratio Ng

Intérieur 0.5 5 10 3

Extérieur 1 100 100 5

Longue portée 1 1000 1000 7

[rmin , rmax]

Ng = f( log(rmax / rmin)

1

2

Comment ça marcheComment ça marche

La première observation détermine le Rayon Conique

J’approche le Rayon Coniqueavec le Rayon Géométrique

Je peux initialiser les membres maintenant :J’obtiens une méthode immédiate.


€

C = 1Ng

Je me déplace et réaliseune deuxième observation

Je peux distinguer les membres dans l’image


Je calcule vraisemblanceset actualise crédibilités

C’est comme modifier la forme du rayon

€

C+ = C ⋅λ


€

λ = 1

2π Ze

−z⋅Z −1 ⋅ ′ z

2

J'élimine les membresinvraisemblables

C’est une opération triviale et sure


€

C <0.001

nombre _ de _ termes

Avec des méthodes immédiates je peux corriger la carte SLAM


Je continue...


Et un jour il ne resteraqu’un seul membre.

Ce membre est déjà Gaussien!

Si je l’initialise maintenant j’ai une méthode retardée


3

min

Trajectoires non contraintesTrajectoires non contraintes

Content

Peu Content

Pas content

retardées

retardées

immédiates

immédiates

immédiates

min

Trajectoires fortement contraintes : Méthodes retardées et immédiates

Trajectoires fortement contraintes : Méthodes retardées et immédiates

retardéesimmédiates




Méthodes retardées et immédiates


immédiates

Cha

mp

de v

ueC

hamp de vue

QuickTime™ et undécompresseur H.264

sont requis pour visionner cette image.





• Un algorithme naïve

• Un algorithme consistent

• L’algorithme d’Actualisation en Blocreta

rdées

imm

éd

iate

s

• L’algorithme multicarte

• L’algorithme du Partage Fédératif de l’Information



L’algorithme multicarteL’algorithme multicarte

1. Initialiser tous les membres comme amers en cartes séparées2. Lors des observations postérieures:

• Actualiser les crédibilités des cartes et n’éliminer les mauvaises• Réaliser des corrections sur les cartes comme dans SLAM-FKE

3. Quand il ne reste qu’une carte:• Rien à faire


are needed to see this picture.méthode hors ligne

imm

éd

iate



L'algorithme du Partage Fédératif de l’Information (PFI)

L'algorithme du Partage Fédératif de l’Information (PFI)1. Initialiser les membres comme des amers différents

dans la même carte2. Lors des observations postérieures :

• Actualiser les crédibilités et éliminer les mauvais membres• Effectuer une correction douce fédérée

3. Quand il ne reste qu’un membre:• Rien à faire



imm

éd

iate

L'algorithme PFIL'algorithme PFI

• La Correction Douce Fédérée: Partager l’Information

Observation {y, R}

correction FKE avec membre 1

correction FKE avec membre 2

correction FKE avec membre N

imm

éd

iate

{y, R1 }{y, R2 }

{y, RN }

… …

Partage de l’Information:

Coefficient Fédératif i :

Privilège des vraisemblances:

L'algorithme PFIet le Cas Pas Content


immédiate





Vue latéraleVue de oiseau

immédiate

L’inclusion de nouvelles bornes

L’inclusion de nouvelles bornes

1. Diviser l’image en sous images.

2. Choisir celles ou c’est intéressantd’y inclure une nouvelle borne.

3. Y faire une recherche de pointsde Harris.

Les mesures des bornesLes mesures des bornes

Pixel trouvé: MESURE

Maximum decorrélation

Région de recherche

Carte: bornes 3D

Signature de la borne

Projection sur l’image

Stratégie de recherche:1. Globale à double espace 2. Locale à simple espace 3. Résultat sous pixellique

Le suivi des bornesLe suivi des bornes



ConclusionsConclusions

1. La reconstruction 3D dans des situationsà très faible observabilité est rendu possible.

2. Le mouvement précis de la camera dans la scèneest acquis simultanément.

3. On est en disposition d’y intégrer des objetsmobiles.

4. Pour cela, des hypothèses sur la vitesse de chaque point seront d’abord lancées et postérieurement validées (ou non) et raffinées par les observations.

Merci!Merci!Merci!Merci!

Documents

Reconstruction 3D par mono vision avec des trajectoires fortement contraintes Joan Solà LAAS-CNRS Toulouse, France Revue du projet PICAS$O 3 novembre 2005