SYSTEMES MIXTES MOBILES ET COLLABORATIFS Jullien.Bouchet@imag.fr Philippe.Renevier@imag.fr...

SYSTEMES MIXTES MOBILES ET

COLLABORATIFS

Jullien.Bouchet@imag.fr

Philippe.Renevier@imag.fr

Laurence.Nigay@imag.frLaboratoire CLIPS-IMAG, équipe IIHM

Grenoble

En partenariat avec France Télécom – Laurence Pasqualettiet l’IRIT, équipe GRIC – Pascal Salembier

2/28

Vers une fusion harmonieuse

3/28

Plan

• Système mixte

• Plate-forme – MAGIC– TROC

• Conclusion

4/28

Système mixte

• Deux "mondes" – Les données physiques– Les données informatiques

• Des tâches mélangeant les deux mondes• Une augmentation : une interaction (ajout

d’information, manipulation) utilisant les entités des deux mondes

• Un système mixte : une ou plusieurs augmentations

5/28

Système mixte mobile

• L’augmentation dépend de la localisation des utilisateurs (où ils sont et ce qui les entoure)

A touring Machine[Feiner 97]

6/28

Système mixte collaboratif

• L’augmentation que perçoit un utilisateur dépend des actions de l’ensemble des utilisateurs.

A Collaborative AR System[Kraut 96]

7/28

Système mixte mobile et collaboratif

• L’augmentation dépend de la localisation des utilisateurs et de leurs actions.

• Deux exemples : – MAGIC– TROC

8/28

Démarche

• Objectif méthodologique :– Espace de conception de systèmes mixtes mobiles et

collaboratifs

• Objectif technologique : – Une plate-forme matérielle et logicielle générique

pour des activités mobiles et collaboratives

9/28

Plate-forme

Camera + Micro

Casque + Ecouteurs

Capteur d’orientation

Stylos

Tablette + Extenseur de port

Réseau sans fils

10/28

Plate-forme

Position de la caméra / de l’utilisateur

Angle de vue à travers le casque

Orientation de la caméra / de l’utilisateur

Un objet non vu

Un objet vu ou capturé

11/28

Plate-forme

12/28

MAGIC : Travail sur le terrain de fouille

• Explorer le site (Mobilité)

• Travailler en groupe sur le site (Collecticiel)

• S’informer auprès d’experts distants (Collecticiel)

• Comparer des objets physiques avec des objets d’une base de données(Augmentation)

• Accéder aux objets enlevés du site(Augmentation)

13/28

MAGIC : vue d’ensemble

• Sur la tablette :– Communication

(forum, mail, etc.)

– Coordination (carte)

– Production (outils d’édition)

• A travers le casque:– Combinaison du

physique avec l’informatique grâce à la passerelle

14/28

Passerelle

15/28

Réalité cliquable

• Manipulation d’une lentille magique

• Interaction sur la tablette

• Capture la zone ainsi définie

16/28

• Un archéologue travaille

• Il trouve un objet• La découverte est retirée

du site

• L’objet est sauvegardé dans une base de données

• Un archéologue approche de où était l’objet

• La découverte est virtuellement disponible

Terrain augmenté

17/28

TROC

• But du jeu : réunir des objets numériques

• Le terrain

• Une liste de quatre objets

• Quatre cubes physiques

• Des formules magiques

18/28

TROC

• But du jeu : réunir des objets numériques

• Le terrain

• Une liste de quatre objets

• Quatre cubes physiques

• Des formules magiques

19/28

TROC

• But du jeu : réunir des objets numériques

• Le terrain

• Une liste de quatre objets

• Quatre cubes physiques

• Des formules magiques

cochonrouge

moucheverte

vachejaune

vachebleue

20/28

• But du jeu : réunir des objets numériques

• Le terrain

• Une liste de quatre objets

• Quatre cubes physiques

• Des formules magiques

TROC

21/28

cochon

scorpion

TROC

• But du jeu : réunir des objets numériques

• Le terrain

• Une liste de quatre objets

• Quatre cubes physiques

• Des formules magiques

22/28

Menu

Formules

Liste

Gestion du piège

Gestion des cubes

HistoriqueCarte

Interface de la tablette tactile

23/28

Temps de jeu

Objet ciblé

Description de l’objet ciblé

Formules actives

Autre objet visible

Niveau d’énergie magique

Œil magiqueMessages

Interface dans le casque

24/28

Terrain augmenté

25/28

Manipulation d’objet numérique : vider un cube

26/28

Réseau Sans fil IR

IR

Serveur

IR

IR

Messages

Sons micros

Images vidéos

Légende

IR : interface réseau

IR IR

Joueur A Joueur B

Superviseur

Architecture d’implémentation

27/28

Magicien d’Oz

• Simulation du positionnement et de la reconnaissance vocale

• Interface :

28/28

Conclusion

• Expérimentation Utilisateur

• Espace de conception