Reconstruction 3D par mono vision avec des trajectoires fortement contraintes Joan Solà LAAS-CNRS...

Reconstruction 3D parReconstruction 3D parmono vision avec des mono vision avec des trajectoires fortement trajectoires fortement

contraintescontraintes

Reconstruction 3D parReconstruction 3D parmono vision avec des mono vision avec des trajectoires fortement trajectoires fortement

contraintescontraintes

Joan SolàLAAS-CNRS

Toulouse, France

Revue du projet PICAS$O3 novembre 2005

On parle de…On parle de…1. Observabilité du 3D en vision

2. SLAM par mesures angulaires (ou SLAM par mono vision)

3. Initialisation des Amers

4. Performances:

FDPs Gaussiennes

5. Trajectoires fortement contraintes

Utilisation du SLAM-FKE

ContenuContenu

» Observabilité en vision: pourquoi je ne fais pas la stéréo?

» Un peu de SLAM à observabilité totale

» Le Problème de l’initialisation des amers dans le SLAM par mono vision

» Le Rayon Géométrique: une représentation efficace de la FDP de la position de l’amer

» Méthodes retardées et non retardées

» Solution Temps Réel:

• L'initialisation par Partage Fédératif de l’Information (PFI)

Observabilité stéréoObservabilité stéréo

: angle qui ferme la région

Objet proche

Augmenter la base stéréoscopique

Objet lointain

Augmenter la base stéréoscopique

Objet lointain

Augmenter la précision du banc stéréo

Objet lointain

Augmenter la précision du banc stéréo

Objet lointain

Augmenter la base et la précision

Objet lointain

Augmenter la base et la précision

Problème mécanique:1. Augmenter la base fait

diminuer la précision du banc.

2. Une base longue rend impossibleun calibrage ‘a vie’.

3. Un auto calibrage en ligne serait nécessaire. Ce n’est pas facile.

Objet encore plus loin

minminn

: angle entre mesures

: angle qui ferme la région

: précision du système capteur

Base courte

Base longue avec auto calibrage

Base longue pré calibrée

Et plus loin?Et plus loin?

Base longue pré calibrée

Modélisation 3Dpar vision stéréo

Modélisation 3D par vision mono en mouvement

SLAMpar mesures

angulaires

SFMStructure

FromMotion

SLAM: de l’anglais, Simultaneous Localization And Mapping

Le problème du cas angulaire:Initialisation des Amers

• L’approche naïve

tactuel

tprecedent tactuel

Le problème:Initialisation des Amers

• Considération des incertitudes

tactuel

tprecedent tactuel

Le point 3DLe point 3Dest dedansest dedans

Le problème:Initialisation des Amers

• Les cas Content et Pas Content

Content

Peu Content

Pas Content

L'idée CLÉL'idée CLÉ

QuickTime™ and aTIFF (LZW) decompressor

are needed to see this picture.

are needed to see this picture.??

L’approximationinitiale

est facile

La sélection des membres est facile et sûre

Le derniermembreest facilementincorporé

Initialisationimmédiate

INITIALISATIONretardée

Définition du Rayon Géométrique

Définir une série géométrique de Gaussiennes

xR : position de la camera

= i / ri

= ri / ri-1

[ rmin rmax ]

Remplir l’espace entre rmin i rmax

1. Avec le nombre minimal de termes

2. Tout en respectant les contraintes de linéarisation

• Facteur de forme, base géométrique et limites de distance

• Le nombre de termes est logarithmique en rmax / rmin :

• On obtient des nombres très petits :

• Les membres étant Gaussiens, ils sont facilement manipulables

avec FKE.

Les bénéfices du Rayon Géométrique

Scénario rmin rmax Ratio Ng

Intérieur 0.5 5 10 3

Extérieur 1 100 100 5

Longue portée 1 1000 1000 7

[rmin , rmax]

Ng = f( log(rmax / rmin)

Comment ça marcheComment ça marche

La première observation détermine le Rayon Conique

J’approche le Rayon Coniqueavec le Rayon Géométrique

Je peux initialiser les membres maintenant :J’obtiens une méthode immédiate.

C = 1Ng

Je me déplace et réaliseune deuxième observation

Je peux distinguer les membres dans l’image

Je calcule vraisemblanceset actualise crédibilités

C’est comme modifier la forme du rayon

C+ = C ⋅λ

λ = 1

2π Ze

−z⋅Z −1 ⋅ ′ z

J'élimine les membresinvraisemblables

C’est une opération triviale et sure

C <0.001

nombre _ de _ termes

Avec des méthodes immédiates je peux corriger la carte SLAM

Je continue...

Et un jour il ne resteraqu’un seul membre.

Ce membre est déjà Gaussien!

Si je l’initialise maintenant j’ai une méthode retardée

Trajectoires non contraintesTrajectoires non contraintes

Content

Peu Content

Pas content

retardées

immédiates

Trajectoires fortement contraintes : Méthodes retardées et immédiates

retardéesimmédiates

Méthodes retardées et immédiates

immédiates

hamp de vue

QuickTime™ et undécompresseur H.264

sont requis pour visionner cette image.

Méthodes retardées et immédiates

• Un algorithme naïve

• Un algorithme consistent

• L’algorithme d’Actualisation en Blocreta

rdées

• L’algorithme multicarte

• L’algorithme du Partage Fédératif de l’Information

L’algorithme multicarteL’algorithme multicarte

1. Initialiser tous les membres comme amers en cartes séparées2. Lors des observations postérieures:

• Actualiser les crédibilités des cartes et n’éliminer les mauvaises• Réaliser des corrections sur les cartes comme dans SLAM-FKE

3. Quand il ne reste qu’une carte:• Rien à faire

are needed to see this picture.méthode hors ligne

L'algorithme du Partage Fédératif de l’Information (PFI)

L'algorithme du Partage Fédératif de l’Information (PFI)1. Initialiser les membres comme des amers différents

dans la même carte2. Lors des observations postérieures :

• Actualiser les crédibilités et éliminer les mauvais membres• Effectuer une correction douce fédérée

3. Quand il ne reste qu’un membre:• Rien à faire

L'algorithme PFIL'algorithme PFI

• La Correction Douce Fédérée: Partager l’Information

Observation {y, R}

correction FKE avec membre 1

correction FKE avec membre 2

correction FKE avec membre N

{y, R1 }{y, R2 }

{y, RN }

… …

Partage de l’Information:

Coefficient Fédératif i :

Privilège des vraisemblances:

L'algorithme PFIet le Cas Pas Content

immédiate

L'algorithme PFIet le Cas Pas Content

Vue latéraleVue de oiseau

immédiate

L’inclusion de nouvelles bornes

1. Diviser l’image en sous images.

2. Choisir celles ou c’est intéressantd’y inclure une nouvelle borne.

3. Y faire une recherche de pointsde Harris.

Les mesures des bornesLes mesures des bornes

Pixel trouvé: MESURE

Maximum decorrélation

Région de recherche

Carte: bornes 3D

Signature de la borne

Projection sur l’image

Stratégie de recherche:1. Globale à double espace 2. Locale à simple espace 3. Résultat sous pixellique

Le suivi des bornesLe suivi des bornes

ConclusionsConclusions

1. La reconstruction 3D dans des situationsà très faible observabilité est rendu possible.

2. Le mouvement précis de la camera dans la scèneest acquis simultanément.

3. On est en disposition d’y intégrer des objetsmobiles.

4. Pour cela, des hypothèses sur la vitesse de chaque point seront d’abord lancées et postérieurement validées (ou non) et raffinées par les observations.

Merci!Merci!Merci!Merci!

Reconstruction 3D par mono vision avec des trajectoires fortement contraintes Joan Solà LAAS-CNRS...

Documents

Joan Miro

Sommaire - LAAS · depuis 2006. Les systèmes étudiés au LAAS Les métiers au LAAS. 4 - Fête de la Science 2015 - LAAS-CNRS - LaSer: de La fiction à La réaLité > Vous rencontrerez

Renseignements pratiques - LAAS

Les transistors et leurs applications - LAAS

Algorithmes génétiques - LAAS

Reconstruction 3D par vision avec des trajectoires hautement contraintes Joan Solà et André Monin LAAS-CNRS Toulouse, France

1 Cartographie et Localisation par vision monoculaire Joan Solà et Thomas Lemaire LAAS-CNRS Toulouse, France Séminaire LAAS 29 juin 2006

Reconstitution de létat dun micro drone par fusion de données Travail de stage DEA Joan Solà Ortega, stagiaire Yves Brière, responsable à lENSICA Département

Joan steven campo quiñones

Joan MIRO, LE FEU INTERIEUR - Rennes

Formation Réseau - LAAS

Stéphane THURIES ATER UPS/LAAS-CNRS

Hommage à Jean-Louis Sanchez - LAAS

JOAN ROCH A - sogides.com

Manuel MATLAB - Laas

Elements d’Optimisation - LAAS-CNRS · compréhension du cours. Optimisation convexe, programmation linéaire, programmation linéaire mixte, recherche locale. Olivier Brun (LAAS-CNRS)

Rappels de Probabilités - LAAS

Le système graphique X - LAAS

Pr esentation du Langage C - LAAS

Sant Joan de l’Erm - Leader Pirineu...Sant Joan de l’Erm, pionnière à l’époque, font les délices des passionnés de ce sport. Sant Joan de l’Erm est situé tout en haut