LiDar et réalité augmentée

1

Réalisé par :

BENCHAIB Widad

SI-MOUSSI Sara

2CSSIQ Groupe 1 -2015/2016-

BELKHIRI Amjed

LiDaR et Réalité augmentée

2

Plan de présentation

3

1

2

3

4

Introduction

LiDaR

Le fonctionnement du LiDaR

Domaines d’application

4

5

6

7

8

Réalité Augmentée

Principes et règles

MARS

Démo

5

9

10

11

Conclusion

LiDar et réalité augmentée

Etude d’un projet de M.A.R.S utilisant le LiDaR Résultats

obtenus

Introduction

7

7

LIDAR

Définition LiDAR

LIGHT detection and ranging Système de télédetection par

laser. Détection de la lumière et

mesure à distance. Apparu aux années 60. Il existe deux types classiques

de lidar : aéroporté et terrestre. IL est composé de :

Laser

Une centrale inertielle IMU

GPS

9

Principe de fonctionnement

Laser

Le laser utilisé à : • gaz .• colorant .• solide.

Principe de fonctionnement

Une centrale inertielle IMU

GPS

Principe de fonctionnement

Stockage du nuage des points

• Presque en temps réel • Les données seront

exploitées par les applications.

112

LIDAR

Une grande précision dans la mesure à distance, grâce aux très courtes durées d’impulsion.Une grande précision de la direction de la visée. 1

2Mesure et identification de cibles naturelles ou artificielles. 3

IDEA

Avantages

Identifier la nature chimique des milieux par la mesure de propriétés spectroscopiques .Mesure température, de concentration, caractérisation de cibles. 4

Une rétrodiffusion dans l’air élevée de certaines longueurs d’ondes optiques, facilitant les mesures atmosphériques.

123

IDEA

Domaine d’Application

133

Planification des transports

Modélisation forestière et littorale

IDEA 14

3

Modélisation de mouvement de flots Hurricane ISAAC (Source: USGS)

Topographie, métrologie, archéologie

Planification du réseau cellulaire

ACC dans les véhicules

Visualisation 3D et gaming

IDEA

Autres Application

155

Call of Duty - Ghost

16

Réalité

augmentée

Définition Réalité Augmenté

Réalité Augmentée Domaine transverse Ensemble de techologies et

méthodes. Ajout/Modification des

éléments physiques réels. Superposition et incrustations

des modèls 2D et 3D (Données virtuelles).

PERCEPTION AUGMENTÉE.Visuelle

Auditive

Tactile

9

Principes et concepts Réalité Augmenté

Principes et conceptes

Environnement

Traitement

Rendu

9

Règles Réalité Augmenté

9

Règles

Combinaison en temps réel

Interactifs

Perception naturelle

Définition MARS

MARS Mobile Augmented Reality

Systems Principes de bases de RA. Mobilité des équipements. SYSTEM PUISSANT ET

MOBILE

Mobile

Puissant

Interactif

9

Différenciations MARS

Plateforme de calcul

9

Incrustation et superposition.

Plus efficace et performante.

Multisource.

Différenciations MARS

9

Affichage

Plus loin qu’un simple écran.

Auditive.

Tactile.

Différenciations MARS

9

Efficacité

Détection de position.

Sense d’orientation.

Expérience plus proche de la réalité.

Différenciations MARS

9

Wearables et technologies d’interaction

Combinaison de plusieurs technologies.

Expérience plus réalistiques

Manipulation des objets physiques réels :signes vitaux

Domaines d’application:

Démo

27

LiDaR et Réalité

Augmentée

28

Google Driveless Car en marche

Etude d’un projet de M.A.R.S avec LiDaR• Objectif Voir les vraies dimensions des objets capturés par l’appareil photo d’un smartphone en temps réel en utilisant une capture 3D par LiDaR de la même zone.Données LiDaR accessible à partir d’un serveur en pseudo temps-réel.

• Motivations Vulgarisation des smartphones et augmentation de la puissance de calcul. Connectivité et accessibilité des dépôts de données. Nouveaux besoins: détails sur les objets. Exploitation des techniques de capture 3D.

• Difficultés Raster (RGB) vs Nuage de Points (Coordonnées) Intensité des points du LiDaR différente (angle d’incidence) Résolution différente Données de géolocalisation de la caméra limitées

Projection 2D du nuage de point LiDaR

Identification des

correspondances

Dérivation d’un modèle de

transformation d’une image à

l’autre

Augmented reality system using LiDaR point cloud data for displaying dimensional information of objects on mobile phones

EXIF

Phase 1: Associer les pixels aux points 3D

Projection 2D du nuage de points LiDaRParamètres :

Largeur (w), longueur (h), distance focale (f) Capteur CCDMatrice de rotation / X, Y et Z GyroscopeRésultat : Pseudo-Image d’intensité (niveau)

32

Image prise par la caméra

Représentation des points du

Lidar

Pseudo-intensity image

Identification des correspondancesParamètres: Deux images, Seuil (threshold)

• Différences dans la résolution, exposition, caractéristiques radiographiques. • Méthode : feature detection based algorithm.• Algorithme SIFT. (D. Lowe 2004)

Scale-Invariant Feature TransformationImage Feature database

{Key-Point, Vecteur de

descripteurs}

• Comparaison des feature database des deux images : Un point P de l’image prise par caméra et un point Q de la pseudo-

image d’intensité sont concordants distance < Seuil. Distance définie dans l’espace du descripteur.

34

Résultat SIFT

Modèle de transformation d’une image à l’autre

Données pertinentes (inliers) : réelles correspondances.• Couples de points correspondants Données aberrantes (outliers) : erreurs d’arrondis, bruit, …etc.

• Objectif: Réduire notre ensemble de couples de points concordants aux données pertinentes.

• Critère: Correspondance du couple (P,Q) au modèle de transformation.

• Modèle statistique de transformation: Homographie = transformation entre deux vues d’une même surface plane.

• Technique utilisée: RANSAC – Random Sample Consensus.

• Méthode itérative consistant à : Prendre un échantillon aléatoire des données en entrée. Estimer le paramètre H. Rajouter les données (P’,Q’) qui satisfont le modèle. Rejeter les autres. Estimation de l’erreur pour valider le modèle final.

36

Réduction par RANSAC du dataset

37

Polyvalence de l’usage du LiDaR et panoplie de perspectives offertes : imagerie, modélisation, prediction, RA …etc.Les M.A.R.S constituent la nouvelle orientation des chercheurs et industriels.

L’exploitation des données capturées par le LiDaR implique l’usage d’outils d’imagerie numérique, statistiques, analyse des données et géomatique ...etc.

Conclusion et Perspectives

Merci pour votre attentionQuestions ?