Systèmes mixtes : vers la fusion des mondes physiques et ... · –Diversité des aspects pris en compte •Technologie utilisée vs. Forme de l'interaction –Contradiction des

M2Pro - IHM Systèmes Interactifs Mixtes :

vers la fusion des mondes physiques et numériques …

E. Dubois

[email protected]

UPS – IRIT – Elipse

Emmanuel Dubois Master 2 Pro - IHM 1

mailto:[email protected]

Plan • Contexte

• Les SIM : Définition et état de l'art

• Conception : quelles approches – Classifications

– Méthodes et outils

• Implémentation : les ressources et spécificités – Technologies

– Supports au développement Emmanuel Dubois Master 2 Pro - IHM 2

CONTEXTE

Le domaine de l'IHM


Bridging Norman’s gap (1/4)


System Human

Gulf of Evaluation

Gulf of execution

Bridging Norman’s gaps (2/4)

• Exploiter les capacités systèmes(1, 2)

Multi-fenêtrage, manipulation directe + WIMP + Métaphore

1

2

System Human

Gouffre à l’Evaluation

Gouffre à l’exécution

Bridging Norman’s gaps (3/4) • Accroitre le nombre et le type de manipulations

possibles (3, 4)

Multimodalité + Collaborativité

1

2

3

2 4

System Human

Gouffre à l’Evaluation


6

Bridging Norman’s gaps (4/4) • Mieux tirer profit des capacités Humaines (5,6)

– Intégrer les ressources et aptitudes physiques de l’utilisateur et de son environnement

Une nouvelle forme d’interaction : Systèmes Interactifs Mixtes (SIM)

5

6

System Human

Gouffre à l’évaluation


7

3

2 4

Systèmes Interactifs Mixtes : Une Définition

• Système interactif

• Combine les mondes physique et numérique

• Pour bénéficier des

– Capacités des systèmes informatiques

– Ressources physiques et aptitudes physiques des utilisateurs

E. Dubois, soutenance HDR, 30 sept.

09 8

SIM : d’autres termes

– Réalité Augmentée [Feiner, Azuma, Mackay]

– Virtualité augmentée [Rose, Milgram]

– Tangible User Interface / Ambient interface [Ishii]

– Réalité mixte [Milgram]

– Environnements augmentés [Xerox Euro Parc]

– Vidéo augmentée

– Systèmes pervasifs / ubiquitaires, …

Nombreuses variantes = grande variabilité


ETAT DE L'ART DES SYSTEMES MIXTES

Illustrations


SIM : Quelles caractéristiques ?

• Mal connues car peu familières • Dépendent du point de vue adopté

– Technologique – Usage – Conceptuel – Evaluation

• Dans ce cours :

– Illustrations basées sur les entrées / sorties de ces systèmes


Exemples

• Utilisation des systèmes mixtes pour un enrichissement de l'interaction en sortie


Ajout d'informations visuelles "déportées"


Chameleon, Fitzmaurice'93

Visée pédiculaire, Merloz'00

Eyetop

Enrichissement du champ visuel

Emmanuel Dubois Master 2 Pro - IHM 14 Szalavari'98 Rose, ECRC – Tech.Report'94

Hu, Siggraph Sketches 05

Rekimoto'95

Enrichissement visuel de l'espace de travail

• Augmented Surfaces – 99 – J. Rekimoto

– Agrandir l'espace de travail (table)

– Profiter de nouveaux supports (livre)

Emmanuel Dubois Master 2 Pro - IHM 15 Vidéo

Haller, Siggraph Poster’05

../../../Recherche/Doc/DocDeRef_IHM/Mixed_Systems/Pictures/VideoDemo/AugemntedSurfaces_Rekimoto_chi99.mpeg

Plus récemment …


• Bookbéo

– Livre + QRCode + Smartphone

• Google glasses

– Recette, traducteur, …

• Epson see through glasses

– Android powered

Ajout d'informations sonores


Audio-notebook, Stifelman'96

Holosonic Research Labs'02

Wegner'97

Aide à la localisation

Plus récemment …

• Spatialisation sonore pour DV [Jouffrais – Elipse]


Et le retour d'effort ?


Cybergrasp

Benabid, Grenoble,

Neurochirurgie, robot semi-actif

Université du Wisconsin (Center for Neuroscience :

Department of Biomedical

Engineering et Department

of Rehabilitation Medicine)

Retour électrolinguale, 98

Sortie haptique


PADyC, Troccaz '96

Robot synergique

RoboDoc,

Integrated Surgical Systems Inc.

(robot actif)

Sortie haptique • Contraintes physiques compensatoires

– Active hand-held instrument for error compensation in microsurgery, CMU, 97

– … stabilisateurs appareils photos.

• Simulateur

– Virtual Endoscopic Surgery Training VEST system AG & Forschungszentrum Karlsruhe


Et pourquoi pas les autres sens ?

• Utilisation d'informations olfactives

• Et demain : des informations gustatives …


Olfacom Olfacom

L’extrême …

• … ou les SIM en dérision

– La voiture qui conduit toute seule (encore que …)

– Le robot chirurgien qui ruine les carrières

– L’USB-Wine


Vidéo

../../Recherche/Doc/DocDeRef_IHM/Mixed_Systems/Pictures/VideoDemo/usb-wine.flv.avi

Exemples suite …

• Utilisation des systèmes mixtes pour un enrichissement de l'interaction en entrée …


… via différents dispositifs

• Cubic Mouse [Frölich, 00]



• Tilty Table : http://www.youtube.com/watch?v=bl8OCg3Xoe4


http://www.youtube.com/watch?v=bl8OCg3Xoe4

http://www.youtube.com/watch?v=bl8OCg3Xoe4


• GE Stick / GE Compass (Dubois, 2007)


Vidéo 1

Vidéo 2

../../Recherche/Etudiants/GoogleEarth_M1_SI/ARTk.AVI

../../Recherche/Etudiants/GoogleEarth_M1_SI/geStick.avi_MP3_divx.avi_MP3_WMV3.avi

… via différents dispositifs • Media Blocks [Ullmer'98]

– Container / Transfert de données / "Contrôleurs" physiques

• Tangible geospace [Ullmer'97] Emmanuel Dubois Master 2 Pro - IHM 28


• Pixel miroir [Lachenal 00]


… via différents dispositifs • Personal Interaction Panel – Eurographics 97 –

Szalvari

– Matérialisation physique de fonctionnalités numériques (observabilité)

– Utilisation de l’espace physique pour la sélection et manipulation d'objets d’une scène numérique


Vidéo2

Vidéo1

../../../Recherche/Doc/DocDeRef_IHM/Mixed_Systems/Pictures/VideoDemo/pip-05_Szalvari_Eurographics_97.mov

../../../Recherche/Doc/DocDeRef_IHM/Mixed_Systems/Pictures/VideoDemo/pip-02_Szalvari_Eurographics_97.mov

Via des objets

• Neon Racer

– Cannettes, pommes, clémentines perturbent une course de voiture

• Appmates sur un Ipad


… via différents modes de communication

• Commande de robot par la parole (AESOP, Sackier 93)


AESOP, Sackier'93


• Détection de gestes / mouvements

F. Berard – PBrowser – 1998 Emmanuel Dubois Master 2 Pro - IHM 33


• Suivi "d'entités"

F. Berard –MagicTable – 2000 Emmanuel Dubois Master 2 Pro - IHM 34

Et plus récemment …

• Leap motion

• Kinnect

• Wii U

• …


Exemples fin !

• Enrichissement combiné de l'interaction en entrée et en sortie !


Digital Desk

• Un des premiers système dit de "Réalité Augmentée" – Basé sur un bureau physique ordinaire + quelques fonctionnalités

– Principe • Zone de travail filmée par une caméra

• Flux vidéo transmis à l'ordinateur

• Reconnaissance automatique de

– Direction pointée par l'utilisateur (avec un crayon-LED)

– Documents posés sur le bureau

• Vidéo-projecteur placé au-dessus de la zone de travail

• Données numériques projetées sur le bureau / document physique

• Interaction avec la fusion des mondes physiques et numériques !

– [invented and built by Pierre Wellner, Xerox EuroPARC, 1991]


Digital desk - vidéo


Digital Desk

• Enrichissement du monde physique avec – Des données numériques

– Des services numériques • Copier / Coller

• Agrandir

• Retourner

• Plusieurs versions par la suite – Multi-utilisateurs

– Basé sur des tokens / infra-red / etc.


AR Urban Design

• « Multi-Selecteur » tangible

– Version tangible d’un menu / liste

• Intérêt

– Solution pour manipulation physique de concepts numériques (TUI)

– Association physique / numérique dynamique


Vidéo

Seichter H, Schanbel M.A., HITL-NZ - 2005

../../Recherche/Doc/DocDeRef_IHM/Mixed_Systems/Pictures/VideoDemo/ar_urban_design_lq.wmv

Omni Touch: wearable multitouch Interaction Everywhere

• UIST 2011

• Basé sur Kinect


Applications temps réel …


3D puppetry:

a kinect based interface

for 3D animation

Laster Technologies (French):

Lunette et masque de ski de RA

Et plus récemment …

• Fashionista

• US Postal Service previsualisation

• Voitures

– Toyota

– Cabriolet Mini

– Citroën

• Sport …


Et bien d'autres …

• Nombreuses autres formes

– Multi-utilisateurs

– Mobile

– Sensibles au contexte

– Multi plateforme

– Plastique


Exemples : bilan !

• Récapitulatif des « design questions »

• Récapitulatif des domaines d'application


Aspects de conception d’un SIM (1/4)

• Place du monde physique dans le système = qu’est ce qui est utilisé / impacté du monde physique – En entrée :

• Détecter une position / présence, orientation / mouvement, obtenir un ID / reconnaître, détecter un son / une forme, etc.

– En sortie : • Ajouter une information dans le contexte,

déplacer ou contraindre un objet, déclencher une action numérique

46

Aspects de conception d’un SIM(2/4)

• Formes de communication en Entrée / Sorties utilisées = comment est capté/ impacté le monde physique – Entrées :

• champs visuels (images, mouvements, couleurs), sonore (bruits, mots, musique), Champs magnétiques (présence, intensité, seuil, orientation),

– Sortie : • Visuel (texte, image, photo, graphiques) ,

son (parole, son, bruit) , proprioceptif

47


• Cohérence entre les espaces d’interaction IN / OUT = type de “continuité” induite : 2 facteurs – Superposition des espaces d’interaction en entrée (IN) et

en sortie (OUT)

– Importance du focus en entrée (IN)

48

Espace IN = Espace OUT Espace IN ≠ Espace OUT

Faible focus sur l’espace IN

Fort focus sur l’espace IN


• Cohérence entre les mondes physiques et numériques = types de liens

– Représentation en entrée SIMILAIRE / DIFFERENTE des représentations en sortie

– Comportement en entrée SIMILAIRE / DIFFERENT des comportements en sortie

49

Domaines d'applications de plus en plus variés

• Domaines d’application – Chirurgie

augmentée – Maintenance – Enseignement – Architecture – Loisirs

– Grand public (cf. suite …)


Bronchoscopie

Bricault

Illuminating Light

Ishii KARMA

Feiner

Décoration d’intérieur

iMagis

Mah-Jong

Szalavari

Craniotomie

Grimson

PADyC

Troccaz

Applications "grand public" • Jeu pour enfants • Musées • Bornes

interactives • Art

Emmanuel Dubois Master 2 Pro - IHM 51 Woods 04 – HITL-NZ

Objectifs des systèmes mixtes

• Exploiter les capacités de traitements / stockage / transformations / etc. des "systèmes informatiques" (complète les capacités de l'utilisateur)

• S'appuyer sur la manipulation d'objets du monde physique (facilite l'interaction de l'utilisateur avec le système)

• Laisser l'utilisateur au contact de son environnement physique habituel (rend l'ordinateur accessible partout)


Rôle des systèmes interactifs mixtes

• Ajouter … – … de l'information :

enrichir la perception de l'utilisateur

– … des services : faciliter l'exécution de tâches

• Lors d'une interaction entre l'Utilisateur et … – Monde physique : Réalité augmentée

– Monde numérique : Virtualité Augmentée


Constat • Tendance nette à la démocratisation des SIM

– Utilisation dans de nombreux domaines

• Nécessité de mettre en œuvre un processus de développement … – Conception

• Taxonomie

• Méthode / éléments de conception

– Techniques de développement

– Evaluation

• … et de l’outiller de façon adaptée Emmanuel Dubois Master 2 Pro - IHM 54

CONCEPTION DE SYSTEMES INTERACTIFS MIXTES

Taxonomies

Modèles


II - Conception de systèmes mixtes

• Pourquoi une taxonomie ? – Pour comprendre – Pour analyser – Pour comparer – Pour imaginer d'autres systèmes

• Pourquoi une méthode de conception ?

– Pour explorer l'ensemble des solutions – Pour expliquer les choix de conception – Pour faciliter la communication dans l'équipe de

conception – Pour inclure des éléments d’évaluation


DES TAXONOMIES


Taxonomies existantes

• [Milgram 94] • Valide seulement pour les données visuelles :

graphistes

• Une des rares approches servant de référence … sous une forme non conforme à sa présentation initiale


"Approches de classification IHM" • Types de données ajoutées

– Textes, Graphiques 2D ou 3D [Azuma]

– Idem + données audio [Feiner]

– Idem + données haptiques [Noma]

• Cible de l'augmentation [Mackay] – Utilisateur

– Objet

– Environnement

• Interface tangible [Ishii] – Artefacts et contraintes


"Approches de classification IHM"

• Avantages – Centrées sur l'utilisateur

• Limites – Diversité des aspects pris en compte

• Technologie utilisée vs. Forme de l'interaction

– Contradiction des conclusions • TUI = RA pour Mackay, pas pour Azuma

– Insuffisance des approches prises séparément • Utilisabilité influencée par les dispositifs et les types de

données


Comparaisons

peu facilitées

Extrapolations

impossibles

Une taxonomie

• Centrée sur la tâche de l'utilisateur

– 3 composantes

• Numérique, physique, Utilisateur

• 2 cibles d’interactions

– 2 types d’augmentations possibles

• Exécution, Evaluation

Two sub-classes of MIS

Augmented Reality Augmented Virtuality

Digital

entities

Physical

entities

User

Digital

entities

Physical

entities Coupling

Augmentation

User

62

Second axe de classification

• Type d'augmentation: évaluation ou exécution


Tâche

et but

Monde réel (RA) ou

Monde virtuel (VA)

Exécution

Evaluation

Les deux gouffres de l'interaction selon Norman

Caractéristiques complémentaires

• Type de liens entre Physique et Numérique [Nigay]

– Dynamique / statique

– Représentant / représenté

• "Créateur" du lien – Concepteur / utilisateur / contexte / …

• Information relative à l'utilisabilité du système – Hors du champs d'une taxonomie …


DES ÉLÉMENTS DE CONCEPTION


II-2 Eléments de conception

• Tout ce qui peut aider à répondre à – Quel forme de rendu ? – Quel dispositif ?

– Quel impact sur l'interaction ? – Quelles alternatives ? – Etc.

• Et à terme … – Tout ce qui permettra de donner TOUTES les réponses

possibles à ces questions !


Méthodes existantes • Analyse de tâches, d'activité

– Pas d'intégration dans les outils et notations existantes de moyens de caractérisation systématique des entités manipulées

• UML et extensions (UMLi, UIML) – Faibles aptitudes à la modélisation de l'IHM – Absence de représentation des entités physiques

(sauf actors)

• Prototypage / Participatory Design : – Pas de factorisation des solutions de conception


Des modèles dédiés pour les SIM • Décrire des propriétés physiques

– Savoirs préexistants liés à la vie quotidienne (RBI framework, [Jacob’08])

– Place et rôle du corps humain ([Klemmer’06])

– Relation entre objets physiques (TAC paradigm, [Shaer’04])

• Décrire les mécanismes sous-jacents à l’interaction mixte – Périphériques d’entrée / sortie (APRIL, [Ledermann’05])

– Modalités requises (MIM, [Coutix’06])

– Flux de données lors des interactions haptiques (Flow Nets, [Smith’06])

• Décrire les éléments d’interaction – Métaphores ([Fishkin’04])

– Eléments impliqués, relations, caractéristiques ([Trevisan’08, Chalon’04, Dubois’03])

• Décrire des articulation de modèles – Liens entre aptitudes humaines / dispositifs requis / modèles de tâches :

pour mesurer l’adéquation de ces différents aspects ([Klug’07]) – Liens entre story-board et des situations de travail réelles

pour accélérer la transition entre conception et implémentation (DART, [MacIntyre’04])

Différents aspects couverts, mais tous restent complémentaires.

En cours : le modèle ASUR (1/2)

• Objectifs – Décrire, Comparer, Explorer l'espace des solutions

en termes de • Interaction d'un utilisateur avec un SIM

• Fusion des mondes physiques et numériques

– Inciter un concepteur de SIM à soulever dès la phase de conception, des questions pertinentes en terme de

• Fusion de deux mondes,

• Utilisabilité du système,

• Complexité technique.


En cours : ASUR (2/2)

• Apports – Description, représentation, comparaison – Support pour l'étude de propriétés ergonomiques – Établir des liens avec d'autres outils de conceptions

• Articulations avec – ASUR-IL – KMAD/ASUR – Intégration de recommandations ergo – Modélisation de recommandations ergo – Méthode de créativité – Simulation 3D


Illustration

../../Recherche/ASUR/Doc_ASUR/CoursASUR.ppt

http://ihcs.irit.fr/resim/

DEVELOPPEMENT DES SYSTEMES MIXTES

Technologies

Problèmes

Outils existants


III - Développement

• Technologies

• Points clés

• Problèmes techniques

• "Solutions" existantes – Toolkit

– Composants réutilisables


III-1 : Technologies • Localisation

– Caméra :

• Tag based

• Segmentation, suivi, (différence d'image, gradient, etc.)

– Infra-rouge : polaris

– Ultra-son : FreeD mouse

– Détection magnétique : FOB

– Ondes radio : RF-ID

– Mécaniques (bras, robots)

– …

• Rendu – PDA, casque, projecteurs, HP

– Graphique, texte, son, etc.


http://www.ascension-tech.com/

SIM : des techno …

III-2 Points clés

• Superposition des 2 mondes – Calculs mathématiques – Modélisation physique des stimuli captés

• Rendu – Visuel : cf. autres cours – Sonore / haptique / autres

• Temps réel

• Non intrusif …


III-3 Problèmes techniques

• Communication avec/sans fil

– Pas de plateforme "unifiante"

– Pas de middleware satisfaisant

• Intégration des dispositifs

– Langage différents d'un dispositif à l'autre

• Calibrage des dispositifs


Calibrage : exemple

• Déterminer dans le repère aiguille, les coordonnées – D'un point de l'axe – De l'extrémité

… par simples rotations de l'ensemble (car calcul d'un point fixe)


Calibrage d'une caméra

• Utilitaire basé sur des modèles comportant des points et des lignes.

• 2 étapes – Récupérer le paramètre de distorsion

– Récupérer les paramètres de perspective de la caméra



III-4 "Solutions" existantes

• Composants logiciels réutilisables – Technologies : RAD, avec ses inconvénients …

– Logiciel : architecture logicielle, niveau abstrait composants métiers, très ciblés

• Toolkit – Context-toolkit : support au développement des

parties logicielles gérant la capture de données du contexte

– Bus Ivy : middleware

– AR-toolkit : fonctionnalités liées à la localisation


ARToolkit_Cours.ppt

ARToolkit_Cours.ppt

ARToolkit_Cours.ppt


• Composants matériels à assembler – Phidget : objet physique capable de communiquer par l'intermédiaire

d'une connexion USB

Slider

Touch sensor

Light sensor Interface

– I-Stuff : similaire au phidget mais wireless Emmanuel Dubois Master 2 Pro - IHM 81


• Dispositifs avancés

– Pico projecteurs

– Wii-accessories

– Smartphones and development kit

– Kinect :

• SDK : http://www.microsoft.com/en-us/kinectforwindows/download/

• 2 flux captés : RGB, IR,

• 1 flux émis IR : nuage de points (video : Kinect filmed with a night vision camera – HD.mp4) Emmanuel Dubois Master 2 Pro - IHM 82

http://www.microsoft.com/en-us/kinectforwindows/download/



III-4 "Solutions" existantes • Plates-formes de développement

– Papier-Mâché : • Support au développement rapide d'application de type TUI,

basée sur la vision et les RF-ID

– DWARF : • Support au développement, debuging et modifications de

système mixte distribué

– WComp : • Plateforme de prototypage rapide à base de composants,

pour le Wearable Computer

• Et demain ? les Mixed-Widget ? – Pas limités aux offres Phidgets – Guidés par approches de conception


La suite …

• Le modèle ASUR : une brève introduction

– Présentation

– Utilisation

• AR-Toolkit : une API de développement pour les SIM

– Présentation

– Utilisation
