Guide AugmentéMobile pour les Musées et Expositionsanr-gamme.gforge.inria.fr/GAMME_Cantine-06-2011_HP.pdf · détection et tracking pour étendre le recalage aux objets 3D. Micro

Orange Labs/Pascal Houlier

1/25

Présentation du projet GAMME - 17 Juin 2011

Projet GAMMEProjet GAMME

Guide AugmentGuide Augmentéé Mobile pour Mobile pour les Musles Muséées et Expositionses et Expositions

Coordinateur: Orange Labs/ Pascal Houlier


2/25


PlanPlan

�� Un projet financUn projet financ éé par lpar l ’’ANRANR

� Les partenaires

�Quelle Réalité Augmentée(RA) pour le musée ?

�De la technologie aux usages

�Résultats

�Perspectives


3/25


Un projet financUn projet financéé par lpar l’’ANRANR�l’ANR : Agence Nationale de la recherche

�Projets de recherche fondamentale

�Projets de recherche industrielle( acquisition de connaissance pour la mise au point de nouveaux produits, création de composants de systèmes complexes pour la validation de technologie à l’exclusion de prototypes)

�GAMME est un projet de recherche industrielle qui répondait à l’appel d’offre 2007 Audiovisuel & Multimedia

�Projets de développement pré-concurrentiel(concrétisation de la recherche industrielle avec possibilité d’ un 1er prototype)

�Pôle Images et Réseaux. Labellisation par le CSV (comité de sélection et de validation)


4/25


Un projet financUn projet financéé par lpar l’’ANRANR

�Objectif principal: Expérimenter la Réalité Augmentée sur mobile dans un Musée. Nouveaux composants logiciels , nouveaux usages.

�Coût total 1.5 M€(0.7 M€ ANR - 60% des dépenses PME et 40% autres )

�démarrage 02 / 2008

�Fin 12 / 2010


5/25


PlanPlan�Un projet financé par l’ANR

�� PartenariatPartenariat



�Résultats

�Perspectives


6/25


�Orange Labs (Tech lab) project leader

�INRIA (Lagadic team)

�CEA (Leti lab)

�MOVEA

�Polymorph-software

�Ville de Rennes (Musée des Beaux-Arts)

PartenariatPartenariat


7/25


�Orange Labs (Tech lab) project leader� Montage du projet à partir de collaborations existantes

PartenariatPartenariat

Projet OrangeRA mobile

Utilisation de capteursen extérieur

These CIFRE(RA)

Fabien Servant

Projets OrangeRéalité virtuelle

ExpérimentationMusée des beaux-ArtsThèse Areti Damala

(RA marqueurs)


8/25



�Partenariat

�� Quelle RQuelle R ééalitalit éé AugmentAugment éée(RA) pour le muse(RA) pour le mus éée ?e ?


�Résultats

�Perspectives


9/25


Quelle Quelle RRééalitalitéé AugmentAugmentéée pour le muse pour le muséée ?e ?�Un dispositif de Réalité Augmentée

�Permet d’ajouter des éléments virtuels au monde qui nous entoure�Réalise cette fonction en temps réel�Assure la cohérence 3D des objets virtuels dans le monde réel

�Choix pour le projet GAMME �Dispositif mobile équipé d’une caméra�Restitution sur un écran


10/25


Quelle Quelle RRééalitalitéé AugmentAugmentéée pour le muse pour le muséée ?e ?�Différentes technologies pour la RA

�Capteurs (GPS + accéléromètre + magnétomètre).Beaucoup d’applications sur les smartphones en extérieur , précision faible pour le recalage du virtuel sur le réel.un exemple sur smartphone:

En intérieur le GPS doit être remplacé par un autre procédé de localisation ( triangulation wifi, puces nfc etc…)

�Méthodes de Vision par ordinateurAnalyse du flux video pris par la caméra du dispositif.Bonne précision pour le recalage du virtuel sur le réel

�Recalage sur des marqueursproblème d’ajouts d’éléments intrusifs.

�Recalage sur des points naturelsdemande une puissance de calcul importanteMéthode choisie pour le projet GAMME


11/25


� Une phase de détection de points naturels (sur un plan) dans l’imagecourante.

�Reconnaissance du tableau par unemise en correspondance avec des images de références.

(On choisit Image de référenceavec meilleur score)

�Calcul de la pose initiale de la caméra(position et orientation dans l’espace)

Quelle Quelle RRééalitalitéé AugmentAugmentéée pour le muse pour le muséée ?e ?


12/25


Quelle Quelle RRééalitalitéé AugmentAugmentéée pour le muse pour le muséée ?e ?

�« Tracking »estimation des déplacements de la caméra et traitement des occlusions

�En parallèle gestion d’un monde virtuelavec une caméra virtuelle possédant àchaque instant la même pose que la caméra réelle.permettant le recalage entre le monde virtuel et le monde réel


13/25



�Partenariat


�� De la technologie aux usagesDe la technologie aux usages

�Résultats

�Perspectives


14/25


De la technologie aux usagesDe la technologie aux usages> > le calcul de Posele calcul de Pose

�� CalculCalcul de pose pour le de pose pour le recalagerecalage rrééel/virtuelel/virtuel: Développer un nouvel algorithme d’estimation de pose, robuste, sans marqueurs, combinant les techniques de vision par ordinateur et les mesures fournies par des capteurs embarqués.

•• Estimation de pose en visionEstimation de pose en vision (INRIA)

• Pour l’initialisation: algorithme basé recherche de points naturels.

• Tracker pour fournir le déplacement de la caméra.

•• Mesure dMesure d’’attitude avec des attitude avec des microcapteursmicrocapteurs (CEA & MOVEA)

• MotionPodTM (acceleromètre + magnetomètre 3axes)


15/25


De la technologie aux usagesDe la technologie aux usages> > GAMME GAMME EngineEngine

�Un moteur pour jouer des scénarios variés (Orange)�Permet le séquencement de la visite et la présentation de

chaque oeuvre�Augmente la scène réelle avec de nombreux types d’objet.

(Images , objets 3D animés, flash, html, video, son)

�Assure les interactions pour manipuler les oeuvres


16/25


�� OutilOutil auteur pour un auteur pour un ““mondemonde augmentaugmentéé””(Polymorph-software )génère les fichiers XML de description des scénarios

De la technologie aux usagesDe la technologie aux usages> > Editions des contenusEditions des contenus

�Choix de l’œuvre et des objets d’augmentation

� Positionnement et orientation de ces objets dans l’espace réel


17/25


� site d’expérimentation : MBAR(Musée des Beaux-Arts de Renneswww.mbar.org )

�Collaboration étroite avecles professionnels du musée :conservatrices, médiatrices

�Scénarios: visites thématiquescentrées sur les tableaux

�Audience :cible jeunes 15-25ans

Tous les tableaux utilisés dans cette présentation font partie des collections dumusée des beaux-arts de Rennes qui en possède les droits.

De la technologie aux usagesDe la technologie aux usages> > Sortir la RA des labos Sortir la RA des labos –– le Musle Musééee


18/25


De la technologie aux usagesDe la technologie aux usages> > Sortir la RA des labos Sortir la RA des labos –– ExpExpéérimentationsrimentations ((OrangeOrange))

� Scénario thématique sur quelques œuvres sélectionnées, pour l’exposition « à notre guise » été 2009cible : UMPC Samsung (ultramobile PC, écran 7» )

� Scénario thématique avec guidage RA dans l’expositionpermanente du musée.(été 2010)

cible : UMPC Samsung (ultramobile PC, écran 7» )

� Visite libre sur toutes les œuvres d’une salle sur le XVIIe (fin 2010)Cible: MID Viliv (mobile internet device, écran 4.8» )


19/25



�Partenariat



�� RRéésultatssultats

�Perspectives


20/25


RRéésultats > sultats > ddéémonstrateursmonstrateurs�Avec 3 types de scénarios

�Thématique sur quelques œuvres sélectionnées

�Thématique avec guidage RA �Visite libre sur toutes les œuvres d’une

salle

�Sur 3 cibles mobiles�UMPC (ultramobile PC, écran 7» )�MID (mobile internet device, écran 4.8» )�Smartphone (écran 3.7» )


21/25


RRéésultats > rsultats > rééutilisablesutilisables�Composants logiciels réutilisables dans d’autres

contextes.� Librairie de tracking� Moteur de rendu � Editeur d’augmentation

� Usage pérenne au musée des beaux-arts de Rennes�2 types de visites augmentées�Editeur d’augmentation pour créer de nouveaux

scénarios


22/25


RRéésultats > rsultats > rééutilisablesutilisables�Le démonstrateur 2011 au Musée des beaux-arts

� 5 tablettes tactiles Viewpad10 �Moins puissantes que les umpc du projet�Un mode photo (l’utilisateur prend en photo le tableau

à analyser , le contenu interactif se joue sur cette photo)

pour 2 scénarios:�Thématique dans la

collection permanente�Visite libre salle XVIIe


23/25


RRéésultats > publicationssultats > publications� Revue « Culture et Recherche n°118-119 », Novembre 20 08

P. Houlier. Usages en mobilité, le projet GAMME

� ICPR’08– Tampa, Floride, Décembre 2008F. Servant, E. Marchand, P. Houlier, I. Marchal. Visual planes-based simultaneous localization and model refinement for augmented reality. In IAPR, Int. Conf. on Pattern Recognition,

� Epique2009 – Nice, France, Septembre 2009A.Bationo-Tillon . De l’analyse de l’activité de visite muséale à la conception d’un guide de réalitéaugmentée.

� Revue « Les cahiers de l’ANR n °°°°1 » Juin 2009 P.Houlier . Projet Gamme. Nouvelles médiations dans les musées avec la réalité augmentée.

� VRIC 2010 – Laval, France, Avril 2010A.Bationo-Tillon, I.Marchal, P.HoulierWhen augmented reality enrich museum visit: Lessons learned

� IROS 2010 – Tapei, Taiwan, Octobre 2010F.Servant E.Marchand P.Houlier. Improving monocular plane-based SLAM with inertial measures.

� ISMAR 2010 – Séoul, Corée du Sud, Octobre 2010A.Bationo-Tillon, E.Marchand, J.Laneurit, F.Servant, I.Marchal, P.HoulierA day at the museum: an augmented fine-art exhibit


24/25



�Partenariat



�Résultats

�� PerspectivesPerspectives


25/25


PerspectivesPerspectives�Techno: améliorer le calcul de pose

�Techno Vision : nouvelles techniques de détection et tracking pour étendre le recalage aux objets 3D.

�Micro Capteurs : prendre en compte l’arrivée de gyroscopes sur les mobiles.

�Cibles plus puissantes et plus légères (nouveaux smartphones et tablettes)

�Usages�Inventer de nouvelles interactions, nouvelles

métaphores grâce aux outils développés.

Documents

Guide AugmentéMobile pour les Musées et Expositionsanr-gamme.gforge.inria.fr/GAMME_Cantine-06-2011_HP.pdf · détection et tracking pour étendre le recalage aux objets 3D. Micro