Embed Size (px)
Citation preview
www.axos.eu
www.elvitec.fr
Retrouvez-nous : stand E10
PRESENTATION
www.elvitec.fr
Les techniques d’acquisition et de reconstruction 3D
Il existent une multitude de techniques permettant la reconstructiond’un objet en 3 dimensions.
Nous nous intéresserons dans cette présentation aux systèmes conventionnels :
1. sans contact
2. basés sur des techniques de vision i.e par l’analyse et la mesured’un rayonnement visible, réfléchi à la surface de la scène à reconstruire
www.elvitec.fr
Les méthodes sans contact utilisées en vision industrielle
Time of
Flight
Triangulation
laserStéréo vision
Stéréo
photométrie
InterférométrieDetermination
De focus
www.elvitec.fr
D’autres existent mais sont moins répandues …
Shape from
Shadows
Shape from
Motion
Shape from
Defocus
Shape from
Texture
Perspective Moiré
www.elvitec.fr
Détermination de la pose d’un objet… sans reconstruction
Pose from
Points
Pose from
Contours
Matching
Si la géométrie de l’objet est connue,sa pose peut être calculée directement,sans reconstruction
Application type en Vision industrielle: Déterminer la pose 3D d’un objet
www.elvitec.fr
Principe de reconstruction par stéréo vision
Cette méthode de reconstruction reposesur le même principe que la vision 3D humaine
www.elvitec.fr
Principe de reconstruction par stéréo vision
Un système de stéréovision simple est composé de deux caméras regardant le même objet sous deux angles différents
www.elvitec.fr
Principe de reconstruction par stéréo vision
La connaissance:- de la position relative des deux caméras,- de la position relative d’un point dans chacune des deux
images… permet de déterminer la position de ce point dans l’espace, par triangulation
www.elvitec.fr
Principe de reconstruction par stéréo vision
L’appariement d’un point sur chacune des 2 vues permet de calculer sa position (X,Y,Z) dans l’espace
www.elvitec.fr
Principe de reconstruction par stéréo vision
Conditions de mise en place d’un système par stéréo vision:
1. Setup de deux caméras au minimum
2. Visibilité de l’objet dans les deux images
3. Homogénéité des intensités (éclairage + temps d’exposition)
4. « Suffisamment » de texture
www.elvitec.fr
Principe de reconstruction par stéréo vision
S’il manque de la texture, la reconstruction sera peu robuste
www.elvitec.fr
Principe de reconstruction par stéréo vision
Trois étapes sont nécessaires afin de réaliser une reconstruction 3D par stéréovision:
- La calibration: Détermination de la configuration géométrique entre les capteurs: Rotation + translation +
- L’appariement: Trouver les zones semblables entre les deux images
- La reconstruction proprement dite: à partir des coordonnées image des primitives, calculer (X,Y,Z)
www.elvitec.fr
Principe de reconstruction par stéréo vision
- La calibration: Détermination de la configuration géométrique entre les capteurs (Rotation + translation) + paramètres internes des caméras
www.elvitec.fr
Principe de reconstruction par stéréo vision
La plaque de calibration doit couvrir au maximum l’ensemble du volume utilisé pour la mesure.
www.elvitec.fr
Principe de reconstruction par stéréo vision
Mise en œuvre…
www.elvitec.fr
Principe de reconstruction par stéréo vision
- L’appariement: Trouver une correspondance entre la vue de gauche et la vue de droite de chacun des points de l’image
www.elvitec.fr
Principe de reconstruction par stéréo vision
• La correspondence entre pixels se fait par matching en niveaux de gris
• Les niveaux de gris de l’image de référence sont misen correspondance avec ceux situés à l’intérieur d’unezone de recherche, le long de la ligne épipolaire
www.elvitec.fr
Principe de reconstruction par stéréo vision
L’appariement par matching est une opération avec deux degrés de liberté: nous utiliserons les lignes épipolaires pour réduire cette contrainte.
La ligne épipolaire est la ligne d’intersection entre <Pw,O1,O2>et le plan image
www.elvitec.fr
Principe de reconstruction par stéréo vision
Deux points différents ont deux lignes épipolairesdifférentes.
Toutes les lignes épilolaires doivent se couper en un point unique
www.elvitec.fr
Principe de reconstruction par stéréo vision
Les distorsions optiques rendent transforment les lignes épipolaire en courbes
D’où une correction nécessaire…
www.elvitec.fr
Principe de reconstruction par stéréo vision
D’où une correction nécessaire…
www.elvitec.fr
Principe de reconstruction par stéréo vision
L’utilisation des lignes épipolaires permet de vérifier de la bonne calibration du système
Moins de 1 pixel calculé sur la coordonnée y du point
www.elvitec.fr
Principe de reconstruction par stéréo vision
… et d’affiner la zone de recherche pour la correspondance
www.elvitec.fr
Principe de reconstruction par stéréo vision
L’image des disparités illustrera de la correspondance entre les points
www.elvitec.fr
Principe de reconstruction par stéréo vision
Une valeur faible dans l’image des disparité indique qu’un point n’a pas été identifié correctement lors de
l’appariement
www.elvitec.fr
Principe de reconstruction par stéréo vision
- L’appariement: Si l’objet manque de « points caractéristiques », une texture peut être créée par projection d’un pattern sur l’objet: système actif.
www.elvitec.fr
Principe de reconstruction par stéréo vision
- La reconstruction proprement dite: à partir des coordonnées image des primitives, calculer (X,Y,Z)
www.elvitec.fr
Principe de reconstruction par stéréo vision
Le workflow complet
www.elvitec.fr
Généralisation: le multi-vues
Contrairement au système binoculaire, un setup Multi-vues permet de combiner plus de 2 cameras simultanément:
Objectif: - reconstruire un objet entièrement- éliminer les zones d’occlusions
www.elvitec.fr
Généralisation: le multi-vues
La calibration s’effectue « en chaîne », par doublet de caméra.Le nombre de caméras n’est pas limité (en fonction de ressources d’acquisition/traitement disponibles)
www.elvitec.fr
Généralisation: le multi-vues
Les caméras doivent être « connectées » via leur poses 3D
www.elvitec.fr
Généralisation: le multi-vues
Exemples de reconstructions multi-vues
www.elvitec.fr
Généralisation: le multi-vues
Présence sur le marché de capteurs de stéréovision pré calibrés et chaînables en série.
Capteur CMOS Projecteur de texture intégré Interface USB ou GigE Technologie Flexview (N35) Chaînage de capteurs possible Interfaçage Halcon 12
www.elvitec.fr
Généralisation: le multi-vues
Précisions envisagées…
www.elvitec.fr
Généralisation: le multi-vues
Exemple d’application
Guidage robot
www.elvitec.fr
Le terme de triangulationtrouve son origine d’une partdans la disposition des composants du système(source laser, caméra etobjet à digitaliser formentles trois sommets d’un triangle)ainsi que dans l’emploi des relations sur les triangles semblables utilisées pour passer de l’espace 2D de l’image aurepère 3D du monde réel.
Principe de reconstruction par triangulation laser
www.elvitec.fr
Les étapes de la triangulation sont les suivantes :
1. Un trait laser est projeté à la verticale (ou pas) de l’objet à digitaliser.
2. Une caméra, inclinée d’un angle θ par rapport à l’axe du laser, filme la scène pour une position Xi de l’objet
3. Le trait numérisé est transformé en une suite de points 3D d’abscisse commune Xi.
4. L’objet est décalé, suivant l’axe des abscisses Xw, à la position Xi+1 pour réaliser la prise de vue suivante.
Principe de reconstruction par triangulation laser
www.elvitec.fr
Le trait laser apparaît déformé en fonction du relief de l’objet.
La coordonnée v d’un point du trait dans l’image croit avec l’altitude du point sur l’objet réel.
Principe de reconstruction par triangulation laser
www.elvitec.fr
L’objet est reconstruit à partir le l’extraction successive des profils ligne
Principe de reconstruction par triangulation laser
www.elvitec.fr
Le choix de l’angle θ de triangulation, très important,doit permettre de percevoirle relief de façon satisfaisantetout en garantissant que le traitgénéré par le laser soit toujoursvisible dans son entier par la caméra, sans qu’une portion soit masquée par une variationde relief de la pièce
Principe de reconstruction par triangulation laser
www.elvitec.fr
Principe de reconstruction par triangulation laser
Le but étant d’éliminer les occlusions et/ou les effets d’ombre
www.elvitec.fr
Principe de reconstruction par triangulation laser
Trois étapes sont nécessaires afin de réaliser une reconstruction 3D par triangulation laser:
- La calibration
- L’extraction des profils
- La reconstruction
www.elvitec.fr
Une procédure de calibration est nécessaire pour convertir les triplets de coordonnées du système de triangulation en coordonnées métriques (Xi;Yi;Zi) du monde réel.
Principe de reconstruction par triangulation laser
Soit à partird’une mire…
www.elvitec.fr
Principe de reconstruction par triangulation laser
Soit à partir d’un objet 3D de référence…
www.elvitec.fr
Principe de reconstruction par triangulation laser
L’extraction des profils nécessite une ligne laser de qualité (attention au speckle)
www.elvitec.fr
La reconstruction…
Principe de reconstruction par triangulation laser
L’objet à mesurer
L’extraction des profils
www.elvitec.fr
La reconstruction…
Principe de reconstruction par triangulation laser
Les coordonnées calculées
L’objet reconstruit
www.elvitec.fr
Exemple d’application
Principe de reconstruction par triangulation laser
La comparaison de surfaces
www.elvitec.fr
Principe de reconstruction par triangulation laser
Présence sur le marché de capteurs 3D par triangulation pré calibrés en usine.
Communication Ethernet (fast et 1 GigE) Laser à 660 nm (classe 2M) SDK d’acquisition fourni Interfaçage Halcon 12 Encombrement réduit
www.elvitec.fr
Principe de reconstruction par triangulation laser
Précisions envisagées…
www.elvitec.fr
Depth from Focus…
Reconstruction par la mesure de focus
www.elvitec.fr
Principe: Travailler sur une série d’images dont nous extrairons les parties focalisées.
Reconstruction par la mesure de focus
www.elvitec.fr
Workflow…
Reconstruction par la mesure de focus
Image de netteté Image 3DDepth from focus
Serie d’images
www.elvitec.fr
L’extraction des données focalisées sur l’image.
Reconstruction par la mesure de focus
www.elvitec.fr
Setup recommandé pour ce genre de mesures…
- Travailler avec des objectifs télécentriques (« constance » du focus sur un plan donné)
- Utilisation d’un miroir pour déplacer le plan de focalisation (plus rapide et moins soumis aux vibrations qu’un déplacement caméra)
- Avoir la profondeur de champ la plus petite possible…
- Utiliser une grande ouverture optique…
- Soigner l’éclairage, idéalement multi directionnel
Reconstruction par la mesure de focus
www.elvitec.fr
Setup recommandé pour ce genre de mesures…
Un éclairage de type dôme donnera de bons résultats par l’éclairement uniforme aux différents plans de focalisation
Reconstruction par la mesure de focus
www.elvitec.fr
Exemples d’applications:
Reconstruction par la mesure de focus
www.elvitec.fr
Le principe de stéréo photométrie repose sur l’utilisation d’une série d'images pour reconstruire la surface de l'objet.
Analyse par stéréo photométrie
La caméra et l'objet sont fixes,tandis que la scène est éclairée avec des orientations différentes (mais connues)
www.elvitec.fr
Nous supposerons que les sources lumineuses sont réglées à l’infini (par exemple , les rayons lumineux sont parallèles ) et que les propriétés de réflectance de l'objet sont connues
Analyse par stéréo photométrie
www.elvitec.fr
L’orientation de chaque illuminant doit être connu de façon précise.
analyse par stéréo photométrie
www.elvitec.fr
L’orientation de chaque illuminant doit être connu de façon précise.
Analyse par stéréo photométrie
www.elvitec.fr
L’orientation de chaque illuminant doit être connu de façon précise.
Analyse par stéréo photométrie
www.elvitec.fr
Workflow…
Analyse par stéréo photométrie
www.elvitec.fr
Attention:
la stéréo photométrie ne permet pas une reconstruction absolue
(pas de métrique) et n’est donc pas concurrente à la
triangulation laser ou la stéréo vision.
Analyse par stéréo photométrie
www.elvitec.fr
- Aide à la segmentation…
Exemples d’applications…
Analysepar stéréo photométrie
- Inspection surfacique…
www.elvitec.fr
Les caméras TOF (Time of Flight)
Ce principe est basé sur la mesure de temps nécessaire à la lumière pour se rendre de la source lumineuse à l’objet et de l’objet à la caméra.
www.elvitec.fr
Les caméras TOF (Time of Flight)
Une série de « pulse » sont émis par la source et récupérés avec un décalage de phase, après réflexion sur l’objet
www.elvitec.fr
Les caméras TOF (Time of Flight)
Ce décalage permet de calculer pour chacun des points, la distance à la scène
: distance à calculer: vitesse de la lumière: Fréquence d’émission du signal: décalage de phase observé
www.elvitec.fr
Principe de reconstruction par stéréo vision
Exemple de reconstruction
www.elvitec.fr
Comment choisir la bonne méthode de reconstruction?
Quelques questions à se poser...
Que dois je déterminer?
Quelles sont les caractéristiques de l’objet?
Quelles sont les contraintes d’intégration?
www.elvitec.fr
Comment choisir la bonne méthode de reconstruction?
Que dois je déterminer?
• La pose de l’objet? ✓ Coordonnées?✓ Orientation?
• Ai-je besoin de quelques pointsde mesures ou bien dois reconstruire
l’objet dans sa totalité?
www.elvitec.fr
Comment choisir la bonne méthode de reconstruction?
Que dois je déterminer?
• Quelle est la résolution souhaitée?• Quelles seront les « difficultés »?
www.elvitec.fr
Comment choisir la bonne méthode de reconstruction?
Quelles sont les caractéristiques de l’objet?
• Mécaniques✓ Volume de l’objet?✓ Surfaces planes?✓ Il y a-t-il des zones d’occlusion?✓ Géométrie de l’objet: surface « libres » ou primitivesConnues?
• Optiques✓ Opacité de l’objet?✓ Pouvoir réfléchissant?✓ Présence de texture?✓ Couleur?
www.elvitec.fr
Comment choisir la bonne méthode de reconstruction?
Quelles sont les contraintes d’intégration?
• Encombrement disponible?
• Objet statique ou en défilement?
• Cadence de traitement ?
• Pollution lumineuse ambiante?
www.elvitec.fr
Comment choisir la bonne méthode de reconstruction?
Exemple d’arbre de décision…
www.elvitec.fr
Comment choisir la bonne méthode de reconstruction?
… en prenant contact avec nous…
Retrouvez-nous : stand E10
www.elvitec.fr
Impasse Thomas Edison84120 Pertuis - France
Tél : +33 (0)4 90 09 25 80Fax : +33 (0)4 90 79 34 38
[email protected]@elvitec.fr
Merci de votre attention
