Bases de la Vision par Bases de la Vision par OrdinateurOrdinateurÉléments de géométrie, Éléments de géométrie, Géométrie des systèmes à Géométrie des systèmes à n n oculairesoculaires

BENAMEUR Sabrinabenameur_s@yahoo.frDépartement d’informatiqueUniversité Mohamed Khider Biskra

Plan du coursPlan du cours1) Éléments de géométrie

◦ Introduction◦ Modélisation géométrique de la caméra

2) Géométrie des systèmes à n oculaires◦ Géométrie épipolaire◦ Modélisation et calibrage d’un capteur de

vision stéréoscopique◦ Exemples d’application:

Reconstruction 3D Mosaïque d’images Transfert d’images

19/04/23 2

IntroductionIntroduction

Le calibrage géométrique d'une caméra consiste à:déterminer la relation mathématique entre

les coordonnées des points 3D de la scène observée et les coordonnées 2D de leur projection dans l'image (points-image)

Cette étape de calibrage constitue le point initial pour plusieurs applications de la vision artificielle, comme par exemple: la reconnaissance et la localisation d'objets, le contrôle dimensionnel de pièces, la reconstruction de l'environnement pour la

navigation d'un robot mobile, etc.

3Figure 1 19/04/23

IntroductionIntroduction

Le calibrage d'une caméra est particulièrement important lorsque l'on doit obtenir, à partir des images acquises, des informations métriques en vue d'applications de mesures dimensionnelles.

Pour obtenir des mesures dimensionnelles précises, il est indispensable de prendre en compte les distorsions géométriques induites par le système optique utilisé.

19/04/23 4

IntroductionIntroduction

Calibrer une caméra, c'est choisir un modèle de caméra a priori et déterminer ensuite les paramètres de ce modèle.

Pour obtenir des informations tridimensionnelles, il est nécessaire d'associer deux caméras pour constituer un capteur de vision stéréoscopique. Le calibrage d'un tel capteur est un problème spécifique

19/04/23 5

Modélisation géométrique de la Modélisation géométrique de la caméracaméra

La caméra est un appareil d’acquisition permettant de produire des images bidimensionnelles

La partie du monde physique vue par une (ou plusieurs) caméra(s) est appelée scène.

L’objectif est d’extraire de l’information sur la scène tridimensionnelle à partir d’images,

19/04/23 6

Modélisation géométrique de la Modélisation géométrique de la caméracaméra

il est donc nécessaire de commencer par modéliser la caméra.

On présente dans la suite un modèle très courant : le modèle de sténopé, dit aussi de la chambre noire.

19/04/23 7

Modélisation géométrique de la Modélisation géométrique de la caméracaméra Le modèle sténopé Le modèle sténopé Le modèle sténopé (« pinhole »

en anglais) modélise une caméra par une projection perspective.

Ce modèle transforme un point 3D de l'espace en un point-image et peut se décomposer en trois transformations élémentaires successives (voir figure suivante) :

19/04/23 8

Modélisation géométrique de la Modélisation géométrique de la caméracaméra Le modèle sténopé Le modèle sténopé

19/04/23 9

1

2

3

Figure 2

Modélisation géométrique de la Modélisation géométrique de la caméracaméra Le modèle sténopé Le modèle sténopé

19/04/23 10

Caméra : effets de la Caméra : effets de la perspectiveperspective

19/04/23 11

Modélisation géométrique de la Modélisation géométrique de la caméracaméraUtilisation des coordonnées homogènesUtilisation des coordonnées homogènesEn vision par ordinateur, on

utilise souvent les coordonnées homogènes :

en 2D :

en 3D :

19/04/23 12

Modélisation géométrique de la Modélisation géométrique de la caméracaméraUtilisation des coordonnées homogènesUtilisation des coordonnées homogènes Un objet dans un espace de dim n est représentable

dans un espace de dim n+1◦ Ce passage se fait par l'ajout d'une coordonnée

supplémentaire (facteur d'échelle)◦ Le vecteur 2D (x, y) devient (sx,sy,s), s 0◦ Le vecteur 3D (x,y,z) devient (sx,sy,sz,s), s 0◦ La transformation inverse (projection) : (a, b, c)

devient (a / c, b / c) Les coordonnées homogène d’un point R3 sont

constituées par un quadruplet (x, y, z, t). ◦ Si t 0, M de coordonnées (x, y, z, t) est le point de R3 de

coordonnées (x/t, y/t, z/t) ◦ (x, y, z, t) et (x/t, y/t, z/t, 1) représentent le même point

de R3 si t 0

19/04/23 13

Modélisation géométrique de la Modélisation géométrique de la caméracaméraUtilisation des coordonnées homogènesUtilisation des coordonnées homogènes Les coordonnées homogènes peuvent être utilisées en

informatique:◦ si on veut travailler qu'avec des entiers

Le point t(0.2, 1.4, 2.6) pourra se représenter en machine par t(2, 14, 26, 10)

◦ si les coordonnées dépassent les capacités de représentation de la machine Si les entiers sont codés sur 16 bits, le point

t(40000, 25000, 12000) pourra être représenté par t(4000, 2500, 1200, 0,1)

Le point t1(39999, 25000, 12000) ayant la même représentation que celui de t, il y a alors une perte de précision

Les coordonnées homogènes permettent d’uniformiser les traitements

19/04/23 14

Modélisation géométrique de la Modélisation géométrique de la caméracamérale repère camérale repère caméraComme indiqué sur la figure 2, (1)

représente une transformation entre le repère du monde Rw (choisi arbitrairement) et le repère caméra Rc

(dont l'origine est située au centre optique de la caméra).

Cette transformation peut se décomposer en une rotation [R] et une translation [t] .

Les paramètres de cette transformation sont appelés paramètres extrinsèques de la caméra.

19/04/23 15

Modélisation géométrique de la Modélisation géométrique de la caméracamérale repère camérale repère caméra

19/04/23 16

T est une matrice 4 × 4.

avec:(1)

Modélisation géométrique de la Modélisation géométrique de la caméracamérarepère capteur (plan rétinien)repère capteur (plan rétinien)La deuxième transformation,

notée (2) sur la figure 2 relie le repère caméra Rc au repère capteur Rr (plan rétinien). C'est une projection perspective (matrice 3×4, notée [P]) qui transforme un point 3D (Xc Yc Zc) en un point-image (x y) (en unité métrique).

19/04/23 17Où f désigne la focale de l'objectif utilisé.

Modélisation géométrique de la Modélisation géométrique de la caméracamérarepère capteur (plan rétinien)repère capteur (plan rétinien)L'équation (2) qui traduit la

projection perspective s'écrit :◦x= f Xc/Zc◦y= f Yc/Zc

Ces équations sont non-linéaires.L'utilisation des coordonnées

homogènes permet d'écrire la projection perspective (et le modèle sténopé complet) sous forme linéaire (équation (2)).

19/04/23 18

Modélisation géométrique de la Modélisation géométrique de la caméracamérarepère imagerepère imageLa troisième et dernière

transformation, notée (3) sur la figure 2, décrit l'opération de conversion des coordonnées images (x y) (en unité métrique) en coordonnées images discrètes (u v)  (pixels).

19/04/23 19

(3)

Modélisation géométrique de la Modélisation géométrique de la caméracamérarepère imagerepère imagecx et cy (en pixels) désignent les

coordonnées de l'intersection de l'axe optique avec le plan image (théoriquement au centre de l'image)

kx et ky désignent le nombre de pixels par unité de longueur suivant les directions x et y du capteur respectivement (kx=ky

dans le cas de pixels carrés)19/04/23 20

Modélisation géométrique de la Modélisation géométrique de la caméracamérarepère imagerepère image traduit la non orthogonalité

éventuelle des lignes et colonnes de l'image. En pratique, est très proche de . Ce paramètre est désigné par « skew factor » en anglais

On considère souvent que le « skew factor » est négligeable et l'équation (3) se simplifie alors de la façon suivante :

19/04/23 21(4)

Modélisation géométrique de la Modélisation géométrique de la caméracaméra Le modèle sténopé complet Le modèle sténopé complet La composition des trois

transformations (1), (2) et (3) peut être résumée par le schéma suivant:

Figure 3 : Le modèle sténopé complet

Cela conduit à l'équation du modèle sténopé :

19/04/23 22

Modélisation géométrique de la Modélisation géométrique de la caméracaméra Le modèle sténopé complet Le modèle sténopé complet Avec

où et désignent la focale de la caméra en pixels suivant les directions et respectivement.

Les 5 paramètres de la matrice sont appelés paramètres intrinsèques de la caméra.

Finalement, le modèle sténopé est décrit par 5 paramètres intrinsèques et 6 paramètres extrinsèques (3 pour la rotation et 3 pour la translation).

19/04/23 23

(6)

Modélisation géométrique de la Modélisation géométrique de la caméracaméra Prise en compte des distorsionsPrise en compte des distorsionsLe modèle sténopé modélise une

caméra idéale (simple projection perspective) et ne prend pas en compte les éventuelles distorsions géométriques induites par le système optique utilisé.

Plusieurs auteurs ont montré que pour des applications de métrologie dimensionnelle, il était indispensable de prendre en compte ces distorsions afin de pouvoir les corriger.

19/04/23 24

Modélisation géométrique de la Modélisation géométrique de la caméracaméra Prise en compte des distorsions Prise en compte des distorsionsApproche paramétrique (classique):consiste à modéliser la distorsion en

enrichissant le modèle sténopé par des termes supplémentaires (le modèle devient alors non linéaire).

Partant du modèle sténopé, les effets des distorsions peuvent être modélisés par une quatrième transformation D , reliant les coordonnées rétiniennes «idéales» aux coordonnées rétiniennes «réelles»   :

19/04/23 25

Modélisation géométrique de la Modélisation géométrique de la caméracaméra Prise en compte des distorsions Prise en compte des distorsions

19/04/23 26

Figure 4 : Prise en compte de la distorsion dans le modèle par la transformation D

Modélisation géométrique de la Modélisation géométrique de la caméracaméraCalibrageCalibrageCalibrer une caméra consiste à estimer

les paramètres du modèle qui a été choisi pour la représenter.

C'est un problème d'estimation paramétrique.

Dans le cas du modèle sténopé (avec ou sans distorsion), il s'agit d'estimer les paramètres intrinsèques de la caméra, et sa position et orientation par rapport au repère du monde qui a été choisi (paramètres extrinsèques).

19/04/23 27

Inconvénients du sténopéInconvénients du sténopéPetite ouverture peu de lumièreEffet de diffraction, i.e. courbure

des rayons à cause des rebords d'objets opaques. La diffraction crée un flou. L'effet augmente si le diamètre de l'ouverture diminue.

Si on augmente la taille de l'ouverture, la profondeur de champ diminue.

19/04/23 28

Inconvénients du sténopéInconvénients du sténopéTaille de l’ouverture

◦Profondeur de champ ◦Flou

Taille de l’ouverture ◦Effet de diffraction◦Flou

Images sombres

19/04/23 29

Solution : caméra avec Solution : caméra avec lentillelentille

avantage : modèle équivalentau sténopé inconvénient : seuls des pointsà une distance donnée de lalentille sont au focus

◦ profondeur de champ limitéeProfondeur de champ :intervalle de profondeur surlequel les objets sont projetésavec une netteté suffisante

◦ Critère de netteté (exemple) : disque flou a un diamètre

inférieur à 1 pixel

19/04/23 30

Profondeur de champProfondeur de champ

19/04/2331

Faible profondeur de champ Grande profondeur de champ

32

Géométrie des systèmes à Géométrie des systèmes à n n oculaires : oculaires : IntroductionIntroductionUne seule vue ne nous permet pas de voir

en 3 dimensions (apprécier les distances).En utilisant deux ou plusieurs vues, on

évalue la position 3D des objets par triangulation.

On obtient une vue supplémentaire par l'ajout d'une caméra ou en déplaçant la même caméra.

Le véritable défi : trouver les points correspondants dans les deux images.

La géométrie épipolaire est un outil qui nous permettra de faire de la vision stéréo.

19/04/23

33

Vision stéréoscopiqueVision stéréoscopique

Évaluation de la position d’un point dans l’espace à partir de plusieurs caméras.

19/04/23

34

Géométrie épipolaireGéométrie épipolaire

5 points dans le même plan: P, p, p', O et O' les droites l et l' sont les droites épipolaires les points e et e' sont respectivement les épipôles gauche et droit e est en fait O' vu dans l'image gauche e' est O vu dans l'image droite

P

p p'

O O'e e'

l l'

Plan image caméra 1

Plan image caméra 2

19/04/23

35

Droites épipolaires et Droites épipolaires et épipôlesépipôles

Un épipôle est le centre de projection d'une caméra vue dans le plan image de l'autre caméra.◦ Une seule droite épipolaire passe par chaque

point des images (sauf aux épipôles).

Une droite épipolaire est formé par l'épipôle et un point de l'image (multitude de droites épipolaires par image).◦ Les droites épipolaires passent toutes par les

épipôles.

19/04/23

36

Droites épipolaires et Droites épipolaires et épipôlesépipôles

Un point dans l’image gauche se situe sur la droite épipolaire correspondante dans l’image droite

19/04/23

37

Géométrie épipolaireGéométrie épipolaire

Plan image caméra 1

Plan image caméra 2

Epipôles

Centre de projection caméra 1

Centre de projection caméra 2

Points de la scène

19/04/23

38

Géométrie épipolaireGéométrie épipolaireLe correspondant d'un point de l'image

gauche dans l'image droite est contraint sur la droite épipolaire. ◦ Ce qu’on appelle la contrainte épipolaire◦ Hypothèse d'aucune autre "distorsion" que la

projection de perspective.◦ Cela limite l'espace de recherche pour trouver le

correspondant d'un point.Lorsque les deux plans images des caméras

sont parallèles : ◦ les droites épipolaires sont parallèles◦ les épipoles sont à l'infini.

19/04/23

39

Paramètres de la Paramètres de la géométriegéométrie

Problème : ◦ Connaître les épipôles et les paramètres de

cette géométrie épipolaire.Solution :

◦ Calibration d’un système à deux caméras fixes.◦ Connaître la transformation d’une caméra vers

l’autre.Il faut connaître la transformation qui

permet de passer des paramètres (intrinsèques et extrinsèques) d’une caméra aux paramètres (intrinsèques et extrinsèques) de l’autre caméra.

19/04/23

40

Utilisation de 3 camérasUtilisation de 3 caméras Système de vision stéréoscopique trinoculaire

◦ Hypothèse d’une correspondance entre A et B.◦ Sur C : La ligne verte représente la droite épipolaire entre A et C◦ Sur C : La ligne rouge représente la droite épipolaire entre B et C◦ L’intersection des deux droites en C permet de vérifier

l’hypothèse.

19/04/23

Utilisation de 3 camérasUtilisation de 3 caméras

Trois lignes dans les images se croisent au même endroit en 3D Plus de contraintes pour la mise en correspondance 3D

19/04/23 41

Modélisation et calibrage d’un capteur de vision stéréoscopique

19/04/23 42

Pourquoi utiliser deux caméras

Retrouver la troisième dimension par l'emploi de deux caméras

Modélisation et calibrage d’un capteur de vision stéréoscopiqueSi l'on se place d'un point de vue

géométrique, une caméra est un capteur qui transforme tout « point visible » de l'espace tridimensionnel en point dans l'espace bidimensionnel de l'image.

Cette transformation supprime donc la troisième dimension. Cela se traduit graphiquement par la figure (a) : ◦ les points Q et R de l'espace se projettent tous

deux sur le plan image en un seul et même point p car ils sont sur la même droite projective (C, p), C est appelé le centre de projection ou centre optique.

19/04/23 43

Modélisation et calibrage d’un capteur de vision stéréoscopiqueCeci signifie qu'étant donné un

point image , il existe une infinité de points tridimensionnels pouvant en être la projection.

En utilisant deux caméras comme montré figure (b), il est possible de déterminer la position tridimensionnelle du point par triangulation.

19/04/23 44

Modélisation et calibrage d’un capteur de vision stéréoscopiqueIl existe en effet un seul point de

l'espace correspondant à la paire de projetés {p, q’} et un seul correspondant à {p, r’} .

La triangulation consiste donc à déterminer l'intersection dans l'espace des deux droites projectives.

Par conséquent, il est nécessaire d'exprimer ces deux droites par rapport à un référentiel commun, par exemple celui de la caméra gauche.

19/04/23 45

Calibrage d'un capteur de vision Calibrage d'un capteur de vision stéréoscopiquestéréoscopique

Lorsqu'on calibre un capteur de vision stéréoscopique, nous nous intéressons aux deux ensembles de paramètres intrinsèques et à la position et l'orientation relative des deux caméras

19/04/23 46

Calibrage d'un capteur de vision Calibrage d'un capteur de vision stéréoscopiquestéréoscopique

Le calibrage de ce capteur a pour but de pouvoir reconstruire la position tridimensionnelle de points observés par les deux caméras et est donc très important pour ceux qui souhaitent obtenir des mesures tridimensionnelles précises.

19/04/23 47

Reconstruction 3DReconstruction 3DPrincipe1.Estimation des matrices de

projection Pi

2.Triangulation des primitives 2D1. Construction des primitives 3D

correspondantes

3.Placage de texture, modèles d’illumination…

19/04/23 48

Reconstruction 3DReconstruction 3DTriangulation des primitives 2D

◦Résolution du système d’équations mi=Pi M Méthode linéaire classique AX=0. Ajustement d’appariements sur les

épipolaires.

19/04/23 49

Reconstruction 3D Reconstruction 3D (exemples)(exemples)Avec plusieurs caméras, on peut

reconstruire le volume 3D de l’objet

19/04/23 50

Une paire d’images Une paire d’images stéréo…stéréo…

19/04/23 51

et sa reconstruction

Mosaïque d’imagesMosaïque d’imagesPrincipe : Assembler les images

en les recalculant dans un repère donné

Comment ? Estimer la transformation qui existe entre les images 2 à 2

19/04/23 52

Mosaïque d’imagesMosaïque d’images Exemple Exemple

19/04/23 53

Mosaïque d’imagesMosaïque d’images Exemple Exemple

19/04/23 54

Transfert d’imagesTransfert d’imagesComment synthétiser de

nouvelles vues à partir de vues existantes ?

19/04/23 55

Transfert d’imagesTransfert d’imagesOn veut construire des vues

géométriquement validesDeux classes d’approches :

◦A partir d’une reconstruction 3D◦Transfert 2D (sans reconstruction

3D)

19/04/23 56

Transfert d’imagesTransfert d’imagesA partir d’une reconstruction 3D

◦ Reprojection du modèle 3D◦ Utilisation du modèle 3D pour

interpoler 2 images en correspondance

19/04/23 57

Transfert d’imagesTransfert d’imagesTransfert 2D

◦ Principe : générer de nouvelles images à partir de vues existantes, sans passer par une reconstruction tridimensionnelle Scène définie par un ensemble de vues

bidimensionnelles

◦ Avantages :• Supprime l’étape de la reconstruction 3D souvent

fastidieuse et inutile,• Méthode efficace quelle que soit la structure de la

scène,• Rapidité : calcul direct 2D --> 2D.

19/04/23 58

Transfert d’imagesTransfert d’imagesTransfert 2DTransfert 2Dexemple

19/04/23 59

Transfert d’imagesTransfert d’imagesTransfert 2DTransfert 2Dexemple

19/04/23 60