Détection de plans dans les nuages de points 3D Détection de plans dans les nuages de points 3D générés à partir d’une plateforme mobile avec générés à partir d’une plateforme mobile avec
scanner laserscanner laser
Thème D du GDR ISISThème D du GDR ISIS
Jeudi 27 Mai 2010Jeudi 27 Mai 2010
Jean-Emmanuel DeschaudJean-Emmanuel Deschaud
Directeur de thèse : François GouletteDirecteur de thèse : François Goulette
2
Sommaire• IntroductionIntroduction
• Détection de zones planes :Détection de zones planes :
• Amélioration sur la précisionAmélioration sur la précision
• Amélioration sur la rapiditéAmélioration sur la rapidité
• Evaluation et testsEvaluation et tests
• Autres axes de recherche :Autres axes de recherche :
• Débruitage de nuages de pointsDébruitage de nuages de points
• Colorisation de nuages de pointsColorisation de nuages de points
• ConclusionConclusion
Plateforme d’acquisition LARA-3D
Introduction
Photo du prototype LARA-3D (2008) Principe de fonctionnement du scanner laser
4
Scanner Laser et Caméra avec Fish-Eye
Introduction
Données Laser en 2D (10 000 points/s)
Image de la caméra (1024*768)
Plateforme rigide scanner laser/caméra
5
Introduction
Numérisation de la RD786 dans les Côtes d’Armor (01/03/2008)
Objectif : modélisation de données laser relevées par système mobile
6
Introduction
Numérisation de la façade Nord du Musée d’Orsay avec la nouvelle version de LARA3D (23/10/2009)
Objectif : modélisation de données laser relevées par système mobile
7
Chaîne de traitement d’une modélisation 3D :
Modélisation
Données d’entrée : images de profondeur, scans 2D ou scans 3D
1 Débruitage et Filtrage des données
2 Segmentation (extraction de lignes, de plans, …)
3 Construction d’un modèle
4 Triangulation
5 Simplification et lissage du maillage
6 Texturation
Approches existantes pour les plateformes mobiles
Introduction
Frueh et Zakhor « Data Processing Algorithms for Generating Textured 3D Building Facade Meshes from Laser Scans and Camera Images » en 2005
Xavier Brun « Modélisation 3D texturée en temps réel d'environnements urbains et routiers, et application au calcul de distance de visibilité routière» en 2007
9
Approches existantes pour des stations laser fixes
Introduction
Stamos et Allen « 3D Modeling Using Planar Segments and Mesh Elements » en 2006
Pu et Vosselman «Automatic building modeling from terrestrial laser scanning» en 2008
10
Différents niveaux de représentation
Introduction
- Modélisation sans reconnaissance (Maillage libre) - Modélisation avec reconnaissance de formes géométriques (plans, cylindres, …) - Modélisation avec reconnaissance d’éléments métiers : architecturaux (façades, fenêtres, portes, …), routiers (carrefours, bas-côtés, …), industriels (tuyaux, …)
11
Introduction
- Améliorer la qualité visuelle des modèles 3D produits par LARA3D (débruitage, segmentation, meilleure triangulation...)
- Diminuer la taille des modèles (nombre de facettes)
- Modélisation sans connaissance a priori sur la scène (même chaîne de traitement pour de l’environnement urbain (TerraData) et routier (DIVAS)
Motivations
Choix de la modélisation : Modèle Route + Zones planes + Maillage libre par triangulation
12
Sommaire• IntroductionIntroduction
• Détection de zones planes :Détection de zones planes :
• Amélioration sur la précisionAmélioration sur la précision
• Amélioration sur la rapiditéAmélioration sur la rapidité
• Evaluation et testsEvaluation et tests
• Autres axes de recherche :Autres axes de recherche :
• Débruitage de nuages de pointsDébruitage de nuages de points
• Colorisation de nuages de pointsColorisation de nuages de points
• ConclusionConclusion
13
SegmentationMotivations :
- Modélisation simple des zones planes
- Avoir une bonne détection des bords des zones planes
- Traiter de gros volumes de nuages de points en un minimum de temps
Etat de l’art :
- Schnabel, 2007, basé sur RANSAC
- Vaskevicius, 2006, basé sur croissance de région
14
Sommaire• IntroductionIntroduction
• Détection de zones planes :Détection de zones planes :
• Amélioration sur la précisionAmélioration sur la précision
• Amélioration sur la rapiditéAmélioration sur la rapidité
• Evaluation et testsEvaluation et tests
• Autres axes de recherche :Autres axes de recherche :
• Débruitage de nuages de pointsDébruitage de nuages de points
• Colorisation de nuages de pointsColorisation de nuages de points
• ConclusionConclusion
Etape 1 : Calcul de la normale pondérée en chaque point :
Etape 2 : Utilisation d’un voisinage adaptatif :
15
SegmentationAmélioration sur la précision : meilleur calcul des normales
Estimation classique de normales par voisinage pondéré
Amélioration du calcul de normales par voisinage adaptatif
16
SegmentationAmélioration sur la précision : meilleur calcul des normales
Evaluation de l’amélioration des normales en fonction du paramètre α
17
Sommaire• IntroductionIntroduction
• Détection de zones planes :Détection de zones planes :
• Amélioration sur la précisionAmélioration sur la précision
• Amélioration sur la rapiditéAmélioration sur la rapidité
• Evaluation et testsEvaluation et tests
• Autres axes de recherche :Autres axes de recherche :
• Débruitage de nuages de pointsDébruitage de nuages de points
• Colorisation de nuages de pointsColorisation de nuages de points
• ConclusionConclusion
18
SegmentationAmélioration sur la rapidité : croissance de région par voxels
Exemple de voisinage d’un voxel
Nuage de points dans une structure d’Octree
19
Sommaire• IntroductionIntroduction
• Détection de zones planes :Détection de zones planes :
• Amélioration sur la précisionAmélioration sur la précision
• Amélioration sur la rapiditéAmélioration sur la rapidité
• Evaluation et testsEvaluation et tests
• Autres axes de recherche :Autres axes de recherche :
• Débruitage de nuages de pointsDébruitage de nuages de points
• Colorisation de nuages de pointsColorisation de nuages de points
• ConclusionConclusion
20
SegmentationEvaluation de la méthode de segmentation :
21
SegmentationTests sur des données réelles :
Détection de plans dans un nuage points provenant d’une plateforme mobile
22
SegmentationTests sur des données réelles :
Détection de plans dans un nuage points provenant de scanners fixes
23
Sommaire• IntroductionIntroduction
• Détection de zones planes :Détection de zones planes :
• Amélioration sur la précisionAmélioration sur la précision
• Amélioration sur la rapiditéAmélioration sur la rapidité
• Evaluation et testsEvaluation et tests
• Autres axes de recherche :Autres axes de recherche :
• Débruitage de nuages de pointsDébruitage de nuages de points
• Colorisation de nuages de pointsColorisation de nuages de points
• ConclusionConclusion
24
Débruitage
Maillage brut Lissage par MEAN Lissage par NLD
25
Triangulation
Modélisation du Musée d’Orsay
Modélisation de la RD786
26
Sommaire• IntroductionIntroduction
• Détection de zones planes :Détection de zones planes :
• Amélioration sur la précisionAmélioration sur la précision
• Amélioration sur la rapiditéAmélioration sur la rapidité
• Evaluation et testsEvaluation et tests
• Autres axes de recherche :Autres axes de recherche :
• Débruitage de nuages de pointsDébruitage de nuages de points
• Colorisation de nuages de pointsColorisation de nuages de points
• ConclusionConclusion
27
Images
Nuage de points colorés de la Rue de Rivoli
28
Images
Nuage de points colorés du Jardin de l’Ecole
29
Sommaire• IntroductionIntroduction
• Détection de zones planes :Détection de zones planes :
• Amélioration sur la précisionAmélioration sur la précision
• Amélioration sur la rapiditéAmélioration sur la rapidité
• Evaluation et testsEvaluation et tests
• Autres axes de recherche :Autres axes de recherche :
• Débruitage de nuages de pointsDébruitage de nuages de points
• ColorisationColorisation
• ConclusionConclusion
30
Conclusion
Conclusion
- Mise en place d’une chaîne de modélisation adaptée pour des données venant de MMS
- Amélioration de l’étape de débuitage et de segmentation
Etape 2 Segmentation : Découpage en sections
Modélisation
En entrée de la modélisation, on récupère un flux de profils lasers géoréférencés : - Traiter les données profils par profils : perte sémantique - Traiter le nuage de points en entier : pas de temps réel
- Nous avons choisi de travailler par sections.
Triangulation
Ball Pivoting Algorithm (BPA), Bernardini, 1999
33
Triangulation
Modèle 3D brut du Musée d’Orsay
Détail
Modèle 3D brut