Interface Homme-Machine Cours 5 4

Réalité virtuelle, réalité augmentée

Philippe GaussierAlexandre Pitti

Plan du cours

1 Introduction à l'IHM, historique et ergonomie psychologie, handicap et théorie, méthodes de conception

et d’évaluation

2 Éléments d'une IHM Interfaces et Infrastructures, prototypage

3 Extraction et Traitement de l'information GUI Visualisation de l'information, Méthodes statistiques

4 & 5 Techniques d'interactions avancées Réalité Augmentée, Interface Tangible, projection 3D,

Analyse du mouvement

Réalité virtuelle immersion sensori-motrice de l’utilisateur dans le

système

● « ...l’interaction temps réel multi-modale qui implique l’utilisateur à travers tous ses sens, et permet son immersion complète » (Burdéa)

● « ...une application qui donne l’illusion de participer à l’activité d’un environnement virtuel plutôt que d’en être le simple observateur extérieur » (Gigante)

Réalité virtuelle Exemple : les jeux vidéos

Plan de la situation

Définition de la virtualité augmentée : « systèmes dont l’objet de la tâche réside dans le monde informatique. Les systèmes considérés visent à rendre l’interaction plus “réaliste”.(...) L’interaction repose sur la manipulation d’objets du monde réel, comme des cubes, pour modifier des objets informatiques tels que des fichiers » (Dubois, et al., 2000).

Environnementréel

Environnement virtuel

Réalité augmentée Réalité virtuelle

ex. the eye of judgment

Camera

Mar

queur /

Tag

Inte

ract

ion Écr

an

Interaction

Réalité Augmentée

Réalité Augmentée [Feiner, Azuma, Mackay]

Système qui permet de superposer l'image d'un modèle virtuel 3D ou 2D sur une image de la réalité et ceci en temps réel.

1. Combine the virtual and the real

2. are interactive in real time

3. registered in 3D

Accroître l'utilité d'une image réelle

Essai de définition

Caudell & Mizell, 1992

– Lie le réel et le virtuel,

– Est interactive et en temps réel,

– Facilite l’interface homme machine.‐

Le but final est de supprimer les interfaces de manipulation informatiques comme la souris ou le clavier

Réalité Augmentée

Réalité Augmentée [Feiner, Azuma, Mackay]

Système qui permet de superposer l'image d'un modèle virtuel 3D ou 2D sur une image de la réalité et ceci en temps réel.

1. Combine the virtual and the real

2. are interactive in real time

3. registered in 3D

Accroître l'utilité d'une image réelle

Réalité Augmentée

Wendy Mackay distingue trois façons d'aborder la réalité augmentée :

● Augmenter l'utilisateur ● Augmenter l'objet● Augmenter l'environnement

Augmenter l'utilisateur

[Ultraseven]

Augmenter l'environnement

[Total Immersion]

Augmenter l'objet – un livre

[Livre Augmenté]

Les différentes formes d'applications actuelles

La publicité

- Forme la plus attractive en terme de capitaux.

- Beaucoup d’entreprises travaillent sur ce thème.

- Evolutivité énorme du secteur publicitaire grâce à la RA

http://www.youtube.com/watch?v=htFFChtfSsg

Le jeu

- Marché du jeu en pleine expansion

- Acheteurs friands d’ergonomie développée (Wii) et de nouvelles technologies futuristes

Publicité IKEA – Réalité Augmentée

[Ikea]

Apprentissage – RA

COMMENT CRÉER DE LA RÉALITÉ AUGMENTÉE?

• ARToolkit-Propose le plugin Virtools de Dassault (logiciel leader en entreprise)

• Papervision 3D-librairie flash donc populaire et partageable facilement sur le web

• LinceoVR 3.0 (publié par Rhinoceros)

Logiciel avec interface graphique

Utilisation facilité

produit exclusivement windows

prix élevé (995€ + 300€ ou 195€ + 50€ pour les étudiants)

COMMENT CRÉER DE LA RÉALITÉ AUGMENTÉE?

Google Sketchup, pluggin

Les problèmes de la réalité augmentée

Lien imparfait : lorsque le lien ne permet pas de synchroniser les deux réalisations pour certaines opérations.

Modification de la nature du lien : lorsqu'une des entités qui forment le lien est remplacée par une autre.

Lien brisé : lorsque le lien n'existe plus. Ceci peut être dû à une panne ou à des limitations du dispositif d'augmentation.

● tout système augmenté doit aussi pouvoir être utilisé comme un système non augmenté.

Virtualité augmentée

Virtualité augmentée [Rose, Milgram]

Incruster des images réelles dans des images virtuelles

Améliorer la qualité d'une image de synthèse par l'incrustation d'éléments de la réalité

V.A. et R.A.

Interaction

Virtualité Augmentée

EntitésPhysiques

EntitésNumériques

Utilisateur

Réalité Augmentée

EntitésPhysiques

EntitésNumériques

Utilisateur

Augmentation

Interaction

Virtualité Augmentée

EntitésPhysiques

EntitésNumériques

Utilisateur

Réalité Augmentée

EntitésPhysiques

EntitésNumériques

Utilisateur

Augmentation

La réalité mixte

Exemple connu avec l’application métroparis● Pas d’analyse d’image, seulement de position

(GPS) et d’orientation (boussole).● Des données virtuelles (les emplacements de

station) sont appliquées sur un flux réel (film de la scène)

http://www.youtube.com/watchv=MxU88ywRgP4

La réalité mixte n'interagit pas avec le flux d’informations visible par l’utilisateur, même si la position GPS pourrait faire figure de données réelles, ces informations ne tiennent pas compte de l’environnement direct. Lors des derniers mètres, cette différence peut s’avérer embêtante pour l’utilisateur qui pourrait tourner autour de la bouche de métro sans la voir (en imaginant qu’il ne voit réellement pas l’entrée)

La réalité mixte

[metroparis]

Google Glasses

Système mixte ?

Pas de consensus quant à une définition Groupement de plusieurs termes utilisés dans

la littérature● Réalité Augmentée [Feiner, Azuma, Mackay]● Virtualité augmentée [Rose, Milgram]● Tangible User Interface / Ambient interface [Ishii]● Réalité mixte [Milgram]● Environnements augmentés [Xerox Euro Parc]● Vidéo augmentée● Etc.

Objectifs des systèmes mixtes

Exploiter les capacités de traitements / stockage / transformations / etc. des "systèmes informatiques"(complète les capacités de l'utilisateur)

S'appuyer sur la manipulation d'objets du monde physique (facilite l'interaction de l'utilisateur avec le système)

Laisser l'utilisateur au contact de son environnement physique habituel(rend l'ordinateur accessible partout)

Rôle des systèmes mixtes

Ajouter …● de l'information : enrichir la perception de

l'utilisateur● des services : faciliter l'exécution de tâches

Lors d'une interaction entre l'Utilisateur et …● Monde physique : Réalité augmentée● Monde numérique : Virtualité Augmentée

Constat

Tendance à la démocratisation des systèmes mixtes● Utilisation dans de nombreux domaines

Nécessité de mettre en œuvre un processus de développement● Conception

– Taxonomie– Méthode / éléments de conception

● Techniques de développement

Taxonomies en Réalité Virtuelle

M.K.D. Coomans Philippe Fuchs

Développement d’interfaces 3D

Technologies Localisation

● Caméra : – Tag based– Segmentation, suivi,

(différence d'image, gradient, etc.)● Infra-rouge : polaris● Ultra-son : FreeD mouse● Détection magnétique : FOB● Ondes radio : RF-ID● Mécaniques (bras, robots)● …

Rendu● PDA, casque, projecteurs, HP● Graphique, texte, son, etc.

Geolocalisation

Reconnaissance de tag

Reconnaissance de tag : QR code

Reconnaissance de tag : QR code

a. Row scanning b. Column scanning c. Adjusting to center position

Transformation affine

Chen

Reconnaissance de tag

Reconnaissance de tag

Problème de projection

Problème de projection

Problème de projection

Affichage

Affichage via un dispositif semi-transparent Affichage par projection

– c.f. Parnav Mistry et son projet 6thsense Affichage sur le flux vidéo

– ARToolkit

Interaction

Dispositifs « portables » Gestes

– Mains « nues »

– Mains « équipées »

– Déplacements d’objets reconnus Objets communicants

Toolkits existantes

Context-toolkit : support au développement des parties logicielles gérant la capture de données du contexte

Bus Ivy : middleware

AR-toolkit : fonctionnalités liées à la localisation

ARToolKitHIT Lab, University of Washington, USA

Mark Billinghurst, grof@hitl.washington.edu

l'AR-Toolkit

Objectif● Superposer des informations numériques à un

flux vidéo du monde physique

Moyen● Librairie écrite en C (version Java existante)● Gratuit, open-source● Réservé à un usage non commercial● Exécutable de calibration de la caméra

L'AR-Toolkit 1

L'AR-Toolkit 2

L'AR-Toolkit 3

Fonctionnement (1)

1. Acquisition : acquisition numérique d'un flux vidéo et seuillage

2. Détection : Recherche dans cette image de régions carrées.

Pour chaque carré, identification du "pattern" situé à l'intérieur et mise en relation avec un des "patterns" prédéfinis

3. Localisation spatiale : Calcul de la position de la caméra réelle dans le

repère associé au pattern (matrice 3x4 de passage de la caméra au pattern).

4. Traitement : Affichage du rendu graphique ou textuel, facilement

"alignable" sur le monde réel.

Fonctionnement (2)

AR toolkit "patterns"

Exemples de "pattern" détectables par l'AR toolkit.

Principe de mise en oeuvre

6 étapes

1. Initialisation de l'application

2. Capture d'une image vidéo

3. Identification des marqueurs (situés dans les patterns)

4. Calcul de la matrice de passage pattern - caméra

5. Affichage du rendu

6. Fermeture du canal d'acquisition vidéoCode C / C++ Code Java

Utilisation de l'AR-toolkit en C (1)

Init()● Ouvre le canal vidéo et initialise les paramètres

par défaut de l'AR toolkit(fichier de calibrage de la caméra, fichiers de description des patterns)

● Détermine la taille de la fenêtre d'affichage.

Utilisation de l'AR-toolkit en C (2)

À utiliser dans la "mainLoop"

● arVideoGetImage() : capture une frame du flux vidéo

● argDispImage() : affiche la frame vidéo capturée

● arDetectMarker() : construit un tableau (en C) d'identifiant des marqueurs détectés

● arGetTransMat() : calcule la matrice de passage entre le repère du pattern et la caméra (réelle)

● draw() : affiche le rendu graphique, textuel, etc.

1. Code pour initialisationmain( ){// INITIALISATION

if (arVideoOpen(“”) < 0 ) exit(0); //open the video pathif (arVideoInqSize(&xsize, &ysize) <0) exit(0); // find the size of windowif (arParamLoad(cparaname, 1, &wparam) < 0) // set the initial camera param

{ exit(0); }

// DEMARRAGEarParamChangeSize(&wparam, xsize, ysize, &cparam);arInitCparam ( &cparam);arParamDisp( &cparam );argInit( &cparam, 1.0, 0, 0, 0, 0 ); // ouvre la fenetre graphiquearVideoCapStart( ); //start video image capturebool m_localiserStarted = true;

… // cf. next slide

2. Detecter les marqueurs… // "MAIN LOOP"while (m_localiserStarted){

// CAPTURE D'UNE FRAMEarVideoCapNext();if ( (dataPtr = (ARUint8 *) arVideoGetImage( )) == NULL) { arUtilSleep(2);return; }

// DETECTION DES PATTERNS PRESENTSif( arDetectMarker(dataPtr, thresh, &marker_info, &marker_num) < 0 ) { cleanup(); exit(0); }

// IDENTIFICATION DES PATTERNS PRE-CHARGE VISIBLE for( i = 0; i < objectnum; i++ ) // objectnum = nombre de pattern pré-

chargés { k = -1; for( j = 0; j < marker_num; j++ ) { // object[ ] = tableau de descripteurs des

if ( object[i].id == marker_info[j].id ) // pattern pré-chargés { if( k == -1 ) k = j; else { if ( marker_info[k].cf < marker_info[j].cf ) k = j; } } } if( k == -1 ) { object[i].visible = 0; continue; }

// CALCUL DE LA MATRICE DE PASSAGE if ( arGetTransMat(&marker_info[k], object[i].marker_coord, object[i].trans) < 0 ) { object[i].visible = 0; }

else { object[i].visible = 1; } }

…

3. Dessiner sur un marqueur

… // AFFICHAGE DE LA VIDEOargDrawMode2D();argDispImage( dataPtr, 0, 0);

// CALCUL ET AFFICHAGE DU GRAPHIQUE POUR CHAQUE PATTERN DETECTEfor( i = 0; i < objectnum; i++ ) {

if( object[i].visible == 0 ) continue;argConvGlpara(trans, gl_para);argDrawMode3D();

argDraw3dCamera(0, 0); glMatrixMode(GL_MODELVIEW);glScalef(1,-1,1); glMultMatrix(gl_para);

// INSTRUCTIONS DE DESSIN…

}// AFFICHAGE DU BACK BUFFERargSwapBuffers( );

…

4. Terminer la boucle d'événements

…while (PeekMessage( &WmMsg, NULL, 0, 0,PM_REMOVE)){ int t;

if ( (WmMsg.message == 257) && (WmMsg.wParam == 89) ) {

t = increaseThresh(); TRACE("THRESH++ = %d\n",t);

}/* else … */

DispatchMessage(&WmMsg);}

}

Utilisation de l'AR-toolkit en Java (1)

Différentes versions● GL4Java

– En baisse● JOGL

– A voir (sensiblement similaire à la suivante)● Java 3D

– Illustrée ici

Utilisation de l'AR-toolkit en Java (2)

Déclaration private JARToolKit3D m_JARToolKit3D = null;

Initialisation (dans le constructeur par exemple)● Création de l'instance unique (frameGrabber)

m_JARToolKit3D = JARToolKit3D.create();● Initialisation des paramètres de calibrage de la caméra

m_JARToolKit3D.initialize(

JARToolKit3D.getAbsolutePath("data/camera_para.dat"));(remplace les / par \\ …)

● Insertion dans le graphe de scènelocale.addBranchGraph(

m_JARToolKit3D.createViewingBranch(canvas));

Utilisation de l'AR-toolkit en Java (3)

Initialisation (suite …)● Création du BackGround Java3D (et ajout)

contentsTransGr.addChild(m_JARToolKit3D.createBackground());

● Création du behavior gérant la détection des patterns de la jARToolkit (et ajout) m_arBehavior=JARToolKit3D.createRecognition(); contentsTransGr.addChild(m_arBehavior);

● Création d'un TransformGroup par pattern à localiser objTrans = m_JARToolKit3D.createPatternTransform(

JARToolKit3D.getAbsolutePath("data/pattern/hiroPatt"), true);● Association de ce transformGroup au behavior de tracking

(patternDriven-TransformGroup) m_arBehavior.registerObject(objTrans);

● Ajout des objets Java3D attachés au patternDriven-TransformGroup

Configuration de la machine

Classpath● Contient le java3D-Utils-src.jar

Dll ARToolkit (JNI)● Copiées dans le répertoire d'exécution

Path● Ajouter le jARToolkit\bin

NOTE : c'est du java pour PC …

Extensions de l'AR toolkit

Version Java● http://www.c-lab.de/jartoolkit/

Version Pocket-PC● http://www.ims.tuwien.ac.at/research/handheld_ar/

developer/artoolkit.php

Sur Android

Magic Lens– Bier, Stone, Pier, Buxton, DeRose. Toolglass and Magic Lenses: The See-Through Interface. In Conference Proceedings of Siggraph’93, Anaheim, Computer Graphics Annual Conference Series, ACM (1993) 73- 80

Géolocalisation– Limitée par la précision du GPS

Tag– Limitée par la robustesse de reconnaissance

Geolocalisation: Layar (Android)

Développement de « couche »

• Ex: Layar : http://www.layar.com/

– Application dédiée et unique

– compte développeur

– nouveau calque sur le site Layar

– Web Service (et BD) pour les POIs (techno JSON)

– Publication du calque

Geoloc.: Wikitude (Android)

http://www.wikitude.org/developers l’API Wikitude

Reconnaissance de Tags

Différentes implémentation de l’ARToolkit

– NyaARToolkit

http://nyatla.jp/nyartoolkit/wiki/index.php?FrontPage.en

– AndAR : http://code.google.com/p/andar/

• Difficulté de l’OpenGL sous android

– Possible de retrouver des implémentations de GLUT..http://code.google.com/p/andar/source/browse/trunk/AndARPong/src/edu/dhbw/andar/pingpong/GLUT.java

Exemple avec Andar

Personnalisation de AndARSampleProject http://code.google.com/p/andar/downloads/detail?name=AndARSampleProject.zip

– Reconnaissance de tags et affichage d’un cube vert OpenGL « masqué »

– Changement de repère Objet reconnu « indépendant » Ajout d’une interaction simple :

– Quand le tag est proche de , le

cube associé à change de couleur.

FIN