Cours #13 Localisation n Découvertes n 8- Localisation u 8.1 Stéréoscopie u 8.2 Gradient...

Cours #13 Localisation

Découvertes8- Localisation8.1 Stéréoscopie8.2 Gradient d’éclairement8.3 Méthodes actives8.4 Modèles de

représentation

Cours #13 - 2SYS-844Hiver 2005

Forum

Cours #13 - 3SYS-844Hiver 2005

Découvertes

Bennamoun & Mamic, Object Recognition, Springer, 2002.

Stéréoscopie Représentations des objets Reconnaissance par parties Systèmes de reconnaissance 3D

Cours #13 - 4SYS-844Hiver 2005

Objectifs d’un système de vision numérique

Identifier Localiser

Cours #13 - 5SYS-844Hiver 2005

Chapitre 8Localisation

Méthodes passives Stéréoscopique Gradient d’éclairement

Méthodes actives Triangulation active Temps de vol Éclairage structuré

Modèles de représentation Volumétrique Surfacique

Cours #13 - 6SYS-844Hiver 2005

Méthodes passives

Utilisent seulement l’éclairage ambient S’apparentent à la vision humaine La vision humaine utilise une combinaison

des facteurs suivants pour percevoir les trois dimensions:

stéréoscopie modification de la longueur focale de l’œil gradient d’éclairement effet de perspective occlusions effet de parallaxe

Cours #13 - 7SYS-844Hiver 2005

8.1 Stéréoscopie

Illustration: viser le pouce Mise en correspondance

Appariement de primitives Intercorrélation

Reconstruction Carte de disparités

Un exemple

Cours #13 - 9SYS-844Hiver 2005

Principe: Un point dans une image est

associé à une droite (projecteur) dans l’espace.

Si on a deux images, le croisement des projecteurs nous donne le point dans l’espace.

Cours #13 - 10SYS-844Hiver 2005

Appariement

Problématique : Pairage: comment établir qu’un point de

l’image A et un point de l’image B correspondent au même point physique?

IntercorrélationPour chaque point de l’image A, on recherche un point de l’image B sur la même ligne pour lequel la comparaison des voisinages nous donne la meilleure ressemblance.

Appariement de primitivesPour limiter le temps de calcul, on peut faire une détection d’arêtes, et faire le pairage seulement vis-à-vis ces points.

Appariement par intercorrélation

Appariement de primitives

Appariement de primitives: exemple de recherche

Cours #13 - 14SYS-844Hiver 2005

Géométrie épipolaire

Cours #13 - 15SYS-844Hiver 2005

Rectification des images

Rectification des images: exemple

Cours #13 - 17SYS-844Hiver 2005

8.2 Gradient d’éclairement

Principe: Utilise les variations de

l’éclairement lumineux pour déduire le relief.

Hypothèses simplificatrices: pas de discontinuité de surface, surface matte.

Donne une profondeur relative

Cours #13 - 18SYS-844Hiver 2005

Trois photos de Mars prises par le satellite Viking Lander I.

Les 3 photos ont été prises en 1977, à 3 éclairages différents.

Cours #13 - 19SYS-844Hiver 2005

L’apparence d’un objet dépend grandement de son attitude dans l’espace par rapport à l’observateur.

Cours #13 - 20SYS-844Hiver 2005

Géométrie de la formation d’image

L

I

O

n

Z

X

Y

f Z

Cours #13 - 21SYS-844Hiver 2005

Équation de formation de l’image

E 4

df

2

cos4 L

Cours #13 - 22SYS-844Hiver 2005

Surface lambertienneSurface parfaitement diffusante qui émet ou réfléchit un flux lumineux tel que:

L = cte direction

L LS cos

Ls

n

i

n

Ls

s

Plan image

L

Formation des images pour des surfaces lambertiennes.Éclairement sur le plan ima ge en fonction de la normale à lasurface et la direction de la source lumineuse.

L

Cours #13 - 24SYS-844Hiver 2005

Espace de gradients

q

p

q

p

P1

P4

P5

P2

P3

P1

P2 P3P1

P4

P5

tan

y

x

qy

z=

px

z=

Cours #13 - 25SYS-844Hiver 2005

Calcul du gradient local à la surfaced’un objet 3D

Exemple de carte de réflectance Eimage =R(p,q)

Niveaux de gris Contours

Cours #13 - 27SYS-844Hiver 2005

Cours #13 - 28SYS-844Hiver 2005

L’équation de formation des images devient:

EI df

2

cos4 Eo

4cos i

Eimage R p,q cosi 1 pps qqs

1 ps2 qs

2 1 p2 q2

Cours #13 - 30SYS-844Hiver 2005

Reconstruction 3D à partir du gradient d’éclairement

z px qy

p rx sy

q sx ty

p

q

H

x

y

avec la matrice Hessian :

H =r s

s t

Ex rRp sRq

Ey sRp tRq

E x

Ey

H

Rp

Rq

Cours #13 - 31SYS-844Hiver 2005

Équations différentielles

p q p q

x y

x R y R z pR qR

p E q E

Figure 11-7. The shape-from-shading method is applied here to the recovery of the shape of a nose. The first picture shows the (crudely quantized) gray-level image available to the program. The second picture shows the base characteristics superimposed, while the third shows a contour map computed from the elevations found along the characteristic curves.

Cours #13 - 34SYS-844Hiver 2005

8.3 Méthodes actives

Nécessitent une émission additionnelle d’énergie.

Permettent une mesure absolue de la profondeur.

Cours #13 - 35SYS-844Hiver 2005

Triangulation active Principe:

On balaie une surface avec un point laser. La source laser est situé à un certaine

distance du capteur. La position de l’image du point dépend de la

profondeur

Cours #13 - 36SYS-844Hiver 2005

Cours #13 - 37SYS-844Hiver 2005

Cours #13 - 38SYS-844Hiver 2005

Triangulation active

Précision: dépend de la distance entre le

laser et la caméra (baseline) pour un même baseline la

précision diminue avec la distance. Problème:

réflections spéculaires effet d’ombrage.

Cours #13 - 39SYS-844Hiver 2005

Triangulation active

On peut aussi projeter une ligne laser au lieu d’un point.

Cours #13 - 40SYS-844Hiver 2005

Temps de vol

Principe: On envoie un signal (sonore, radio,

laser) vers l’objet et on mesure la distance par le temps mis par l’écho à revenir.

Utilisé pour de grandes distances car la lumière voyage vite (3.33 ns pour franchir 1 m)

Sonar: utilise une onde sonore. Vitesse plus lente, résolution spatiale faible

Cours #13 - 41SYS-844Hiver 2005

Déphasage

Cours #13 - 42SYS-844Hiver 2005

Déphasage

Principe: Un laser modulé en amplitude est projeté

sur l’objet. On mesure le déphasage entre l’onde

émise et l’onde reçue. La distance est égale à N fois la longueur

d’onde plus le déphasage où N est inconnue

Pour lever l’ambiguïté, on prend plusieurs mesures en variant la fréquence de modulation.

La distance n’affecte pas la précision.

Éclairage structuré Principe:

On projette une structure de lumière sur l’objet

On peut déterminer la distance par triangulation

Cours #13 - 44SYS-844Hiver 2005

8.4 Modèles de représentation Une image 3D peut être considérée

comme la numérisation d’une fonction

z = f(x,y) où z est la distance entre le point de

vue et la première surface rencontrée.

Par contre, cette définition n’est pas suffisante pour décrire une scène.

On a besoin d’un modèle.

Cours #13 - 45SYS-844Hiver 2005

Modèle volumétrique

Dans ce type de modèle, la scène est décrite comme une fonction d’occupation de l’espace f(x, y, z)

e.g. subdivision régulière de la scène en N x M x L petits éléments de volume (voxels)

e.g. Octree (arbre octaire): subdivision récursive de l’espace

Avantage: la détermination de l’occupation de l’espace est immédiate.

Application: détection de collision Inconvénient: peu de précision vs quantité

de données

Cours #13 - 46SYS-844Hiver 2005

Modèle surfacique

Dans ce type de modèle, la scène est décrite en terme de surfaces qui délimitent l’espace occupé de l’espace libre.

Les surfaces peuvent être décrites par un ensemble de triangles ou de splines cubiques (NURBS)e.g. OpenGL, VRML

Avantages: représentation précise des surfaces, possibilité d’ajouter de la texture.

Applications: CAO, réalité virtuelle Inconvénient: construction à partir d’images 3D

et intégration des vues plus difficiles.