Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
Analyse d’Image 3D
pour la Réalité
Augmentée
Jean-Marc Vezien
Master Recherche RV&A
Janvier 2011
La 3D comment ?
Les capteurs et les
techniques pour
l’acquisition de la
3D
Master RV&A 2011 - JM Vézien
Capteurs actifs
Master RV&A 2011 - JM Vézien
Les capteurs actifs
• génèrent un signal pour
analyser l’environnement,
utilisation de lumière:
– structurée géométriquement ou
– utilisation d’une onde
cohérente (laser).
• influencent l’environnement:
domaines d’application
limités
Master RV&A 2011 - JM Vézien
Capteurs actifs non
optiques
• De nombreux capteurs utilisent
des ondes pour déterminer la
profondeur:
– Echographie (son),
– Radiographie, tomographie,
scanner (rayons X),
– Résonance Magnétique nucléaire
(rayonnement alpha),
– etc.
• Très chers, très spécialisés
(médical)
Master RV&A 2011 - JM Vézien
LIDAR
• Principe du radar:
• Onde: laser infra-rouge de
faible puissance modulé en
amplitude.
• Balayage par miroir oscillant
1 300m f Mhz
2T
Master RV&A 2011 - JM Vézien
LIDAR (suite)
Ex.: LADAR par Perceptron Inc.
http://www.perceptron.com
• diode laser à 835 nm
• puissance 50 mW
• Distance: de 3 à 100 m.
• Angle de vue réglable:
- horizontal: de 15 à 60 °
- vertical: de 3 à 72 °
• Résolution: 1000 x 2000 pixels
Master RV&A 2011 - JM Vézien
LIDAR (suite)Principaux problèmes:
• Tête d’acquisition
encombrante, miroir fragile.
• laser de classe 3B + invisible =
dangereux !
• Nécessite un contrôle
environnemental (contraste,
types de surfaces...).
• Problème d’échos multiples de
2*
Master RV&A 2011 - JM Vézien
LIDAR (suite)
Master RV&A 2011 - JM Vézien
Capteurs à
triangulationPrincipe:
Caméra
Illuminant
Surface
Master RV&A 2011 - JM Vézien
• Plusieurs méthode
d’illumination:
– lumière «naturelle»: utilisation de
différents «motifs» d’illumination
– lumière cohérente: nappe laser
créée par un miroir cylindrique.
Capteurs à
triangulation
Master RV&A 2011 - JM Vézien
Capteurs à triangulation:
lumière structurée
Master RV&A 2011 - JM Vézien
Capteurs à triangulation:
CyberwareNappe laser
Full body scanner (1998)
Master RV&A 2011 - JM Vézien
Capteurs à triangulation:
problèmes
• Temps d’acquisition: quelques
secondes (pas de mouvements !)
• Environnement contrôlé: faible
lumière ambiante, surfaces non
réfléchissantes (métaux), pas de
bleu (laser).
• Distance: quelques cms à
quelques mètres.
• Laser: coût (100 k€)
Master RV&A 2011 - JM Vézien
Capteurs à triangulation:
problèmes
• Lorsque l’écart
émetteur/récepteur grandit:
– plus grande précision
– probabilité d’occultation
grandissante:
récepteur
Compromis difficile !
émetteur
Master RV&A 2011 - JM Vézien
Capteurs à triangulation:
résultats
Master RV&A 2011 - JM Vézien
Capteurs à triangulation:
résultats
Intégration de multiples scans:
plusieurs millions de polygones !
Master RV&A 2011 - JM Vézien
Effet de Moiré
grille 1grille 2
franges
claires
Source
lumineuse
frange
sombre
Caméra
Master RV&A 2011 - JM Vézien
• Problèmes:
– faible profondeur de champ
– environnement contrôlé
– analyse d’image sophistiquée:
pas de temps réel.
– ambiguïtés possibles: pas de
valeur absolue de Z.
Effet de Moiré
Master RV&A 2011 - JM Vézien
Effet de Moiré:
résultats
Analyse de posture
Capteurs passifs
Master RV&A 2011 - JM Vézien
Master RV&A 2011 - JM Vézien
Les capteurs passifs
• Reçoivent la lumière naturelle, sans
intervention sur l’environnement:
Ex: Capteur CCD ou CMOS
• Utilisation de nombreuses
techniques pour interpréter la carte
d’intensité lumineuse.
Master RV&A 2011 - JM Vézien
Les capteurs passifs
(shape from X)
X = indice servant de base à
l’analyse de l’image
• X = mouvement
• X = shading = ombrage
• X = illumination
• X = texture
• X = ..., combinaison des
précédents.
Master RV&A 2011 - JM Vézien
Les capteurs passifs
(shape from X)
• L’aspect d’un objet sur une
image est fonction:
– de sa géométrie (forme, rugosité)
– de sa photométrie: couleur,
texture...
– de l’illumination ambiante
(sources de lumières)
– de la position de la caméra par
rapport à l’objet.
Utiliser les contraintes externes
pour calculer les propriétés
intrinsèques.
intrinsèques
extrinsèques
Master RV&A 2011 - JM Vézien
Utilisation du
mouvement relatif
• Mise en correspondance
d’indices: points, segments,
régions, dans deux images.
• Mouvement de caméra connu
reconstruction de (X, Y, Z).
Master RV&A 2011 - JM Vézien
Stéréovision
Redondance de
données: permet la
génération de cartes
3D denses
et complexe.
Master RV&A 2011 - JM Vézien
Nombreux avantages:
• Mise en œuvre plutôt simple,
devenue accessible.
Algorithmes performants.
• Relativement insensible aux
conditions d’utilisation
• Obtention de cartes 3D denses
• Possibilités de temps réel
(GPU, FPGA)
Stéréovision
Master RV&A 2011 - JM Vézien
Limitations, contraintes:
• Nécessite de pouvoir mettre en
correspondance des primitives (points,
segments, régions)
• Nécessite de calibrer une paire de
caméras … ou d’acheter du matériel
spécial
• Génère une description 3d peu
structurée
Stéréovision
Master RV&A 2011 - JM Vézien
Utilisation de l’ombrage
(shading)
• On peut déterminer l’orientation d’une
surface à partir d’une seule image,
avec des hypothèses:
– sur sa nature (homogénéité, type de
surface)
– sur l’illumination (Ex: source
ponctuelle à l’infini)
• Approche appliquée dès le début du
siècle pour l’analyse des surfaces
planétaires.
Master RV&A 2011 - JM Vézien
Utilisation de l’ombrage
(shading): résultats.
INRIAlpes, 2006
Master RV&A 2011 - JM Vézien
Utilisation de l’ombrage
(shading)
Limitations nombreuses:
• Une seule surface homogène
• Grande sensibilité aux
conditions d’éclairement
• Orientation seulement
Technique bien adaptée à
l’observation d’altitude,
satellitaire et planétaire
Master RV&A 2011 - JM Vézien
Utilisation de
l’illumination
• Idée: l’aspect d’un objet est
fonction de sa photométrie, qui
varie beaucoup avec
l’éclairement:
Sources
lumineusesRevêtement
absorbant
Caméra
Master RV&A 2011 - JM Vézien
Illumination (suite)
• Hypothèses: la surface de l’objet est
continue (Z=f(x,y)), et d’un matériau
uniforme.
• Chaque lumière fournit une
contrainte I(x,y) par point de la
surface Z=f(x,y). Suffisamment de
contraintes = résolution du système.
• Ex: surface Lambertienne.
minimiser
orientation lumière i = image i
0 < A < 1 = facteur de reflexion
orientation surface
E I A
I
i i ni
M
i i
n
cos( )
1
2
Master RV&A 2011 - JM Vézien
Utilisation de
l’illumination: résultats
Georghiades (2001)
Master RV&A 2011 - JM Vézien
Utilisation de
l’illumination (suite)
Problèmes:
• Trop d’hypothèses simplificatrices
• Environnement très contraignant
• Résultat peu précis, surtout
qualitatif.
Master RV&A 2011 - JM Vézien
Utilisation de la texture
• Hypothèse: on observe une
surface avec des motifs
réguliers.
• Déformation des motifs = f(Z)
Master RV&A 2011 - JM Vézien
Deux étapes:
• Analyse de l’image: calcul d’une
transformée capturant cette
déformation. Ex: transformée de
Fourier, moments 2d, etc.
• Utilisation d’hypothèses (ex:
régularité) pour obtenir une carte
de profondeur.
• Possibilité de combiner avec la
stéréo: déformation de texture.
Utilisation de la texture
Master RV&A 2011 - JM Vézien
B. Super and A. Bovik. (1995)
Shape from texture:
résultats
Master RV&A 2011 - JM Vézien
Limitations:
• Une seule surface, présence
d’une texture, texture homogène.
• Sensible aux conditions
d’illumination.
• Utilisée dans des circonstances
très limitées.
Utilisation de la texture
Master RV&A 2011 - JM Vézien
Reconstruction implicite
par interpolation
• Il n’est pas nécessaire de reconstruire
la 3D pour toutes les applications (ex:
audiovisuel).
• Comment générer des images
«intermédiaires» entre 2 vues ?
= estimation du déplacement équivalent
dans l’image «virtuelle».
Connaissant P1(x,y) et P2(x,y), peut-
on prédire P3(x,y), si on connaît la
position de Cam3 par rapport à Cam1et Cam2 ?
Master RV&A 2011 - JM Vézien
Reconstruction implicite
par interpolation
Master RV&A 2011 - JM Vézien
• Ex: pour une facette plane 3D,
les projections sont reliées par
une homographie:
Estimation de H: utilisation des
déplacements et des formes des
deux régions appariées.
p H pD G
avec H = . . .. . .. . .
et p = xy
1
pG pD
P
Reconstruction implicite
par interpolation
Master RV&A 2011 - JM Vézien
miroir
carte des régions Carte des déplacements
Interpolation 3D: exemple
Master RV&A 2011 - JM Vézien
L’acquisition 2D
«augmentée»: illustration