29
Vincent Thomas – Candidat MSc. Direction Dre. Sylvie Daniel Co-direction Dre. Jacynthe Pouliot Département des sciences géomatiques Université Laval – Québec - Canada La modélisation 3D à des fins de réalité augmentée mobile : Une première expérimentation avec l’iPhone

La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Embed Size (px)

DESCRIPTION

Bien que les produits de la géomatique se démocratisent, ce domaine disciplinaire est encore bien méconnu du grand public. Dans ce contexte, la sensibilisation des jeunes adolescents à l’omniprésence de la géomatique dans leurs activités quotidiennes constitue un aspect promotionnel à développer. Pour être efficace, cette sensibilisation devrait idéalement s’arrimer aux activités éducatives et ludiques de ce jeune public “zappeur” et nomade. Les jeux en Réalité Augmentée (RA) mobile présentent les caractéristiques requises pour explorer de manière immersive, réactive et interactive les diverses exploitations faites de la géomatique dans des environnements réels. En particulier, des modèles 3D sont nécessaires dans ce type d’application à des fins de positionnement, de visualisation, ou bien encore en tant qu’éléments du jeu ou pour fournir des informations contextuelles aux joueurs. Cependant, la disponibilité des modèles 3D permettant de jouer partout est limitée. Les techniques classiques d’acquisition de données 1D-3D (i.e. arpentage/géomatique) et de traitement ultérieurs présentent des contraintes fortes en coût et en temps et elles sont jugées plus ou moins adaptées pour produire rapidement les modèles 3D nécessaires aux jeux en RA mobile dans un environnement qui n’est pas préparé d’avance. Notre présentation explique d’abord ce nouveau contexte applicatif de la géomatique que sont les jeux en RA mobilité. Puis, nous décrirons plus spécifiquement une chaîne de production de modèles 3D adaptée pour ce contexte, exploitant à la fois des techniques de vision numérique et de photogrammétrie. Un exemple de mise en œuvre de la chaîne de production préliminaire sera finalement présenté, impliquant l’exploitation de l’iPhone et de ses nombreuses composantes associées (i.e. caméra, accéléromètres, GPS).

Citation preview

Page 1: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Vincent Thomas – Candidat MSc.Direction Dre. Sylvie Daniel

Co-direction Dre. Jacynthe PouliotDépartement des sciences géomatiques

Université Laval – Québec - Canada

La modélisation 3D à des fins de réalitéaugmentée mobile : Une première

expérimentation avec l’iPhone

Page 2: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Plan de la présentation■ Réalité augmentée (RA) mobile■ Nécessité des modèles 3D■ Environnement non-préparé■ Défis à relever■ Solution proposée■ Conclusion

Colloque Géomatique 2009 – 21-22 Octobre 2009 2

sd1

sd2

Page 3: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Diapositive 2

sd1 Essayer de choisir des termes moins académiques en ce qui à trait à la problématique, objectif et solution.

Par ex.: Défis à relever; difficultés à résoudre; Besoins....

Solution proposée....sylvie daniel; 2009-10-16

sd2 Raccourcir le point: Nécessité des modèles 3Dsylvie daniel; 2009-10-16

Page 4: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Réalité augmentée mobile■ Augmentation de l’environnement réel

avec des éléments graphiques virtuels

Colloque Géomatique 2009 – 21-22 Octobre 2009 3

Page 5: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Contextes d’application

Colloque Géomatique 2009 – 21-22 Octobre 2009 4

Graz University of Technology underground infrastructure ISMAR '08

Génie civil Jeu

Architecture / urbanisme

http://graphics.cs.columbia.edu

Epidemic Menace ‐ http://iperg.fit.fraunhofer.de/

Page 6: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Réalité augmentée mobile■ Progrès technologique

Colloque Géomatique 2009 – 21-22 Octobre 2009 5

http://farm4.static.flickr.com/3128/2756996849_b15bb86dac.jpg

ARQUAKE ‐ http://wearables.unisa.edu.au/arquake/

Page 7: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Nécessité des modèles 3D■ Utilisation de modèle 3D de

l’environnement réel afin d’enrichir davantage l’augmentation◘ Visualisation cohérente (occlusions)

◘ Positionnement

◘ Rôle dans l’API

Colloque Géomatique 2009 – 21-22 Octobre 2009 6

Page 8: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Gestion des occlusions

Colloque Géomatique 2009 – 21-22 Octobre 2009 7

Vincent Lepetit ‐ http://www.loria.fr/%7Eberger/lepetit/Occlusions/index.html

Occlusion

Élément graphiquevirtuel

Occlusion

Élémentgraphiquevirtuel

Occlusion

Élémentgraphiquevirtuel

Élémentgraphiquevirtuel

Page 9: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Environnement non-préparé■ Pour des applications de RA

permettant de riches interactions il faut des modèles 3D

■ Cependant …◘ Les modèles 3D ne sont pas toujours disponibles partout◘ Aucun modèle 3D disponible pour notre environnement?

• Nous sommes dans un contexte d’environnement non-préparé

Colloque Géomatique 2009 – 21-22 Octobre 2009 8

sd4

sd3

Page 10: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Diapositive 8

sd4 Il ne sont pas rares maisl il ne sont pas forcément disponibles partout, ni tout le temps en fonctiond e l'endroit où l'on se trouve.

A nouveau, pour le point suivant, reste général, ne mentionne pas le contexte applicatif du jeu.sylvie daniel; 2009-10-16

sd3 Reste général et pas forcément relatif au contexte du jeu. Pour des applications de RA permettant de riches interactions il faut des modèle 3D.sylvie daniel; 2009-10-16

Page 11: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Défis à relever■ Environnement non-préparé

◘ Approches d'acquisition disponibles à des fins de modélisation 3D

Colloque Géomatique 2009 – 21-22 Octobre 2009 9

sd5

Page 12: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Diapositive 9

sd5 Indique plutôt: approches d'acquisition disponibles à des fins de modélisation 3D. sylvie daniel; 2009-10-16

Page 13: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Solution proposée■ Développer une solution peu coûteuse,

rapide et facile de modélisation 3D en utilisant un appareil mobile afin de pouvoir déployer des applications de RA mobile n’importe où et n’importe quand

■ Solution : iModelARColloque Géomatique 2009 – 21-22 Octobre 2009 10

sd6

Page 14: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Diapositive 10

sd6 Afin de pouvoir déployer des applcations de RA mobile n'importe où et n'importe quandsylvie daniel; 2009-10-16

Page 15: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Principe de fonctionnement

Colloque Géomatique 2009 – 21-22 Octobre 2009 11

Intérêt actuel: bâtiments

■ Calcul des coordonnées 3D du toit d’un bâtiment en utilisant plusieurs composantes d’un appareil portable;

■ Modélisation 3D par extrusion de la trace du bâtiment au sol jusqu’àl’altitude moyenne du toit;

Page 16: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Notre appareil mobile :

Colloque Géomatique 2009 – 21-22 Octobre 2009 12

Page 17: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Pourquoi ?

Colloque Géomatique 2009 – 21-22 Octobre 2009 13

Z

Y

X

GPS Google Maps

Accéleromètres

Caméra

Page 18: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Colloque Géomatique 2009 – 21-22 Octobre 2009 14

Position du joueur

1‐ En utilisant Google Maps, ajouter des 

marqueurs aux coins du bâtiment

Page 19: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Colloque Géomatique 2009 – 21-22 Octobre 2009 15

2‐ Relever avec la vuephotographique les 

coins au niveau du toitRelever!

Page 20: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Colloque Géomatique 2009 – 21-22 Octobre 2009 16

3 – Calcul de la distance entre l’utilisateur

(position par GPS) et le marqueur àrelever (position par Google Maps)

d

Position de l’utilisateur

Page 21: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Colloque Géomatique 2009 – 21-22 Octobre 2009 17

4 – Calcul de l’altitude du bâtimentà l’aide de la distance et de 

l’inclinaison verticale de l’iPhone

dh Altitude du bâtiment

dh = d • tan(dz)

dz

d

Page 22: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Colloque Géomatique 2009 – 21-22 Octobre 2009 18

5 – Extrusion de la trace du bâtiment jusqu’à l’altitude

moyenne du toit

0

h

Page 23: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Colloque Géomatique 2009 – 21-22 Octobre 2009 19

6 – Encodage automatique et visualisation du modèle 3D

Page 24: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Précision■ Écart moyen par rapport à la vérité

terrain◘ 2 mètres en horizontal;◘ 4 mètres en vertical;

■ Source principale d’erreur: récepteurGPS de l’iPhone

Colloque Géomatique 2009 – 21-22 Octobre 2009 20

Page 25: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Travaux actuels■ Insertion d’objets

graphiques dans le flux vidéo exploitant le modèle 3D construit

■ Gestion des occlusions et des mouvements de l’utilisateur

Colloque Géomatique 2009 – 21-22 Octobre 2009 21

Page 26: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Conclusion■ Nouvelle solution de modélisation 3D

rapide et intuitive◘ avantages: portable; adaptée à tout utilisateur;

■ Potentiel de pouvoir augmenter la réalité n’importe où et n’importequand;

■ Intérêts?Colloque Géomatique 2009 – 21-22 Octobre 2009 22

sd7

sd8

Page 27: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Diapositive 22

sd7 Cela tombe un peu à plat comme conclusion, surtout le 1er point. Mettre quelque chose de plus relevé telle:

Nouvelle solution de modélisation 3D rapide et intuitiveavantages: portable; adaptée à tout utilisateur; ...sylvie daniel; 2009-10-16

sd8 Ajoute un 3ème point qui met de l'avant l'intérêt de la RA n'importe où, n'importe quand (ses perspectives)sylvie daniel; 2009-10-16

Page 28: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Colloque Géomatique 2009 – 21-22 Octobre 2009 23

Questions ?Pour en savoir plus:

[email protected]

www.geoeduc3d.scg.ulaval.ca

Page 29: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience

Colloque Géomatique 2009 – 21-22 Octobre 2009 24

Déjà quelques résultats …

« iModelAR »: application sur iPhonepour la création simple et rapide de modèles

3D