42
Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Université de Grenoble 2M : un Espace de Conception pour 2M : un Espace de Conception pour l’Interaction Bi-Manuelle l’Interaction Bi-Manuelle Gilles BAILLY, Laurence NIGAY, David AUBER Gilles BAILLY, Laurence NIGAY, David AUBER

Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Embed Size (px)

Citation preview

Page 1: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Equipe Ingénierie de l’Interaction Homme-Machine (IIHM)Laboratoire CLIPS-IMAGUniversité de Grenoble

2M : un Espace de Conception pour 2M : un Espace de Conception pour l’Interaction Bi-Manuellel’Interaction Bi-Manuelle

Gilles BAILLY, Laurence NIGAY, David AUBERGilles BAILLY, Laurence NIGAY, David AUBER

Page 2: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

IntroductionIntroduction

L’informatique ubiquitaireL’informatique ubiquitaire– Fusion des mondes physique et numériqueFusion des mondes physique et numérique– Définition d’un espace mixteDéfinition d’un espace mixte

L’interaction bi-manuelle au sein d’un L’interaction bi-manuelle au sein d’un environnement mixteenvironnement mixte

Page 3: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

IntroductionIntroduction

Domaine d’application : BiologieDomaine d’application : Biologie– Environnement informationnel mixte pour les Environnement informationnel mixte pour les

biologistesbiologistes– Manipulation bi-manuelle de grands graphes Manipulation bi-manuelle de grands graphes

avec des jetonsavec des jetons Graphe : Acide ribonucléiqueGraphe : Acide ribonucléique

Page 4: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Interaction bi-manuelle au sein d’un Interaction bi-manuelle au sein d’un environnement mixte : pourquoi ?environnement mixte : pourquoi ?

NaturelleNaturelle Performante Performante

– ParallélismeParallélisme– Augmentation du Langage d’Interaction Augmentation du Langage d’Interaction

(pouvoir d’expression)(pouvoir d’expression)

Page 5: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Interaction bi-manuelle au sein d’un Interaction bi-manuelle au sein d’un environnement mixte : pourquoi ?environnement mixte : pourquoi ?

NaturelleNaturelle Performante Performante

– ParallélismeParallélisme – Augmentation du Langage d’Interaction Augmentation du Langage d’Interaction

(pouvoir d’expression)(pouvoir d’expression)

Manipulation d’un Manipulation d’un rectangle : rotation/ rectangle : rotation/ translation/ homothétietranslation/ homothétie

Page 6: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Interaction bi-manuelle : attention !Interaction bi-manuelle : attention !

Pas toujours pertinente selon la tPas toujours pertinente selon la tâcheâche Exemple Exemple

– Kabbash P., Buxton W., Sellen A., "Two-Kabbash P., Buxton W., Sellen A., "Two-Handed Input in a Compound Task", Handed Input in a Compound Task", Proceedings of CHI’94, 417-423.Proceedings of CHI’94, 417-423.

Page 7: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

PlanPlan

ObjectifsObjectifs Différentes approchesDifférentes approches Notre espace de conceptionNotre espace de conception ExemplesExemples Conclusion et perspectivesConclusion et perspectives

Page 8: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

ObjectifsObjectifs

Apporter les avantages du monde physique Apporter les avantages du monde physique dans le monde numériquedans le monde numérique

Etude de l’interaction bi-manuelle au sein Etude de l’interaction bi-manuelle au sein d’une environnement mixted’une environnement mixte

Espace de conception 2MEspace de conception 2M

Page 9: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Constat : Constat : pourquoi un espace de conceptionpourquoi un espace de conception

Aujourd’hui : systAujourd’hui : systèmes conçus et développés èmes conçus et développés de façon ad hoc (faible capitalisation des de façon ad hoc (faible capitalisation des expériences)expériences)

Absence d’éléments Absence d’éléments de conceptionde conception de développementde développement d’évaluationd’évaluation

Page 10: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Objectifs : espace de conceptionObjectifs : espace de conception

Organisation des éléments de conception Organisation des éléments de conception dans un canevas cohérentdans un canevas cohérent

Pouvoir taxinomique des systèmes interactifs Pouvoir taxinomique des systèmes interactifs

bi-manuels existantsbi-manuels existants Pouvoir génératif de nouvelles techniquesPouvoir génératif de nouvelles techniques Pouvoir comparatif : guide Pouvoir comparatif : guide à la conceptionà la conception

Page 11: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

PlanPlan

ObjectifsObjectifs DiffDifférentesérentes approches approches Notre espace de conceptionNotre espace de conception ExemplesExemples Conclusion et pConclusion et perspectiveserspectives

Page 12: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

DiffDifférentes érentes approchesapproches

Exploitation de plusieurs domaines et axesExploitation de plusieurs domaines et axes

Psychologie [Guiard 87]Psychologie [Guiard 87]

IHMIHM– Interaction à deux mains [Buxton 05]Interaction à deux mains [Buxton 05]– MultimodalitéMultimodalité

Page 13: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Psychologie : Modèle de la chaPsychologie : Modèle de la chaîîne ne cinématiquecinématique

Coopération Coopération à deux mainsà deux mains

La main non La main non dominante fixe le dominante fixe le contextecontexte

La main non La main non dominante précède dominante précède

Macro versus MicroMacro versus Micro

La main dominante La main dominante est la main préféréeest la main préférée

Page 14: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

DiffDifférentes érentes approchesapproches

Exploitation de plusieurs domaines et axesExploitation de plusieurs domaines et axes

Psychologie [guiard 87]Psychologie [guiard 87]

IHMIHM– Interaction à deux mains [Buxton 05]Interaction à deux mains [Buxton 05]

Langage de l’actionLangage de l’action Relation temporelleRelation temporelle

– MultimodalitéMultimodalité

Page 15: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Langage de l’actionLangage de l’action

Actions discrètesActions discrètes : : les actions discrètes sont des les actions discrètes sont des actions qui impliquent le actions qui impliquent le déclenchement discret des déclenchement discret des événementsévénements (saisir au clavier, utiliser les touches (saisir au clavier, utiliser les touches spéciales, appuyer sur un bouton d’une souris)spéciales, appuyer sur un bouton d’une souris)

Actions continuesActions continues : : les actions continues sont des les actions continues sont des actions qui impliquent le actions qui impliquent le contrcontrôôle continu de un ou le continu de un ou plusieurs degrés de libertéplusieurs degrés de liberté (d (déplacer un élément éplacer un élément graphique avec la sourisgraphique avec la souris))

Actions composéesActions composées :  : les actions composées sont les actions composées sont des actions qui des actions qui entrelacent des actions continues et entrelacent des actions continues et des actions discrètesdes actions discrètes (d (déplacer le curseur sur un objet éplacer le curseur sur un objet graphique puis le sélectionner avec la souris)graphique puis le sélectionner avec la souris)

Page 16: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

MDMD MNDMND

discrdiscrèètete continuecontinue composéecomposée

discrdiscrèètete Saisie de Saisie de textetexte

ClavierClavier

ClavierClavier

SélectionSélection

JoystickJoystick

Touches Touches spécialesspéciales

SSélection multipleélection multiple

SourisSouris

Touches Touches spécialesspéciales

continuecontinue Étirer une ligne Étirer une ligne de chaque cde chaque côôtété

JetonJeton

JetonJeton

DDéfileréfiler –naviguer –naviguer page WEBpage WEB

SourisSouris

TrackballTrackball

composéecomposée Dessiner Dessiner ( d( déplaceréplacer + + colorier)colorier)

StyletStylet

DoigtDoigt

Langage de l’actionLangage de l’action

Page 17: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

11 22

33 44

Relation temporelleRelation temporelle

Page 18: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

DiffDifférentes érentes approchesapproches

Exploitation de plusieurs domaines et axesExploitation de plusieurs domaines et axes

Psychologie [Guiard 87]Psychologie [Guiard 87]

IHMIHM– Interaction à deux mains [Buxton 05]Interaction à deux mains [Buxton 05]– MultimodalitéMultimodalité

DDéfinitionséfinitions [Nigay 94] [Nigay 94] Typologie [Nigay 93]Typologie [Nigay 93] Extension [Vernier 01] Extension [Vernier 01]

Page 19: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Dispositif Langage Tâche

Modalité

Canal gestuel

Main dominante

ou

Main non dominante

Niveau Niveau d’abstractiond’abstraction

Multimodalité : DMultimodalité : Définitions [Nigay éfinitions [Nigay 94]94]

Page 20: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

AlternéAlterné SynergieSynergie

ExclusifExclusif ConcurrentConcurrent

DépendanceDépendance

TempsTempsséquentielséquentiel parallèleparallèle

IndépendantIndépendant

CombinéCombiné

Multimodalité : Typologie [Nigay 93]Multimodalité : Typologie [Nigay 93]

LexicaleLexicaleSyntaxiqueSyntaxiqueSSémantiquémantiquee

Page 21: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

DépendanDépendantt

ConcurrentConcurrentee

ComplémeComplémen-tairen-taire

ComplémenComplémentaire + taire + redondanteredondante

PartiellemPartiellement ent redondantredondantee

TotalemenTotalement t redondantredondantee

Indé-Indé-pendantpendant

anachroniqanachroniqueue

séquentiellséquentiellee

ConcomitanConcomitantete

CoïncidentCoïncidentee

ParallèleParallèle

Multimodalité : Typologie [Vernier Multimodalité : Typologie [Vernier 01]01]

Extension par affinement de l’axe temporelExtension par affinement de l’axe temporel

TempsTemps

DépendanceDépendance

Page 22: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

PlanPlan

ObjectifsObjectifs Différentes approchesDifférentes approches Notre espace de conceptionNotre espace de conception ExemplesExemples Conclusion et perspectivesConclusion et perspectives

Page 23: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

MutimodalitéMutimodalité

Relation temporelleRelation temporelle

Langage d’actionLangage d’action

Notre espace Notre espace de conceptionde conception

Combiner trois approchesCombiner trois approches

Page 24: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Nature de l’action

Fusion

Temps

Notre espace de conception : 2MNotre espace de conception : 2M

Trois axesTrois axes TempsTemps : :

usage séquentiel / parallèleusage séquentiel / parallèle

Nature de l’actionNature de l’action : : (MND,MD)(MND,MD)

FusionFusion : : lexicale, syntaxique, sémantiquelexicale, syntaxique, sémantique

Page 25: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

 

Considérés Considérés par Buxtonpar Buxton

RegroupRegroupésés sous le terme sous le terme parallélismeparallélisme

2M : Axe Temps 2M : Axe Temps

Page 26: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

ConcomitanteConcomitante CoïncidenteCoïncidente

ParallèleParallèle

2M : Axe Temps2M : Axe Temps

Page 27: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Temps

parallèleAnachroniqueSéquentiel

Concomitant

Coïncident

2M : Axe Temps2M : Axe Temps

Page 28: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Nature de l’action

Fusion

Temps

parallèleAnachroniqueSéquentiel

ConcomitantCoïncident

2M : Axe Nature de l’action2M : Axe Nature de l’action

(Dis,Cont)

(Dis,Dis)

(Dis,Comp)

(Cont,Cont)

(Cont,Comp)

(Comp,Comp)

Dis : discrDis : discrèèteteCont : continueCont : continueComp : composéeComp : composée

Page 29: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Fusion Lexicale

Fusion Syntaxique

Fusion Sémantique

Modalité

Niveau Niveau d’abstractiond’abstraction

2M : Axe Fusion2M : Axe Fusion

Fusion de Fusion de bas bas

niveau niveau

Shift -Shift -clickclick

Fusion des Fusion des paramètres paramètres

«mets ça la»«mets ça la»

Fusion des Fusion des tâches tâches

CharChar

Page 30: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Dis : discrDis : discrèèteteCont : continueCont : continueComp : composéeComp : composée

Notre espace de conception : 2MNotre espace de conception : 2M

Nature de l’action

Fusion

Temps

parallèleAnachroniqueSéquentiel

ConcomitantCoïncident

(Dis,Cont)

(Dis,Dis)

(Dis,Comp)

(Cont,Cont)

(Cont,Comp)

(Comp,Comp)

Indépendant

Lexicale

Syntaxique

Sémantique

Page 31: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

PlanPlan

ObjectifsObjectifs Différentes approchesDifférentes approches Notre espace de conceptionNotre espace de conception ExemplesExemples Conclusion et perspectivesConclusion et perspectives

Page 32: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Notre espace de conception : 2MNotre espace de conception : 2M

EXEMPLESEXEMPLES Nature de l’action

Fusion

Temps

parallèleAnachroniqueSéquentiel

ConcomitantCoïncident

(Dis,Cont)

(Dis,Dis)

(Dis,Comp)

(Cont,Cont)

(Cont,Comp)

(Comp,Comp)

Indépendant

Lexicale

Syntaxique

Sémantique

Page 33: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

ExemplesExemples

Two-Handed Interaction on a Tablet DisplayTwo-Handed Interaction on a Tablet DisplayUniversity of California, BerkeleyUniversity of California, Berkeley

Page 34: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Notre espace de conception : 2MNotre espace de conception : 2M

Déplacement puis dessinDéplacement puis dessin

Nature de l’action

Fusion

Temps

parallèleAnachroniqueSéquentiel

ConcomitantCoïncident

(Dis,Cont)

(Dis,Dis)

(Dis,Comp)

(Cont,Cont)

(Cont,Comp)

(Comp,Comp)

Indépendant

Lexicale

Syntaxique

Sémantique

Page 35: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Notre espace de conception : 2MNotre espace de conception : 2M

Déplacement puis dessinDéplacement puis dessin Dessin et Dessin et

changement de couleurchangement de couleur

Nature de l’action

Fusion

Temps

parallèleAnachroniqueSéquentiel

ConcomitantCoïncident

(Dis,Cont)

(Dis,Dis)

(Dis,Comp)

(Cont,Cont)

(Cont,Comp)

(Comp,Comp)

Indépendant

Lexicale

Syntaxique

Sémantique

Page 36: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

ExemplesExemples

DDémonstrateur NavGrapheémonstrateur NavGrapheCLIPS-IMAG et LABRICLIPS-IMAG et LABRI

Page 37: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Notre espace de conception : 2MNotre espace de conception : 2M

Rotation-ZoomRotation-Zoom

Nature de l’action

Fusion

Temps

parallèleAnachroniqueSéquentiel

ConcomitantCoïncident

(Dis,Cont)

(Dis,Dis)

(Dis,Comp)

(Cont,Cont)

(Cont,Comp)

(Comp,Comp)

Indépendant

Lexicale

Syntaxique

Sémantique

Page 38: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

ExemplesExemples

Déformation de graphes / reconstruction de Déformation de graphes / reconstruction de d’arêtesd’arêtes

QuickTime™ et undécompresseur H.263

sont requis pour visionner cette image.

Page 39: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Notre espace de conception : 2MNotre espace de conception : 2M

Nature de l’action

Fusion

Temps

parallèleAnachroniqueSéquentiel

ConcomitantCoïncident

(Dis,Cont)

(Dis,Dis)

(Dis,Comp)

(Cont,Cont)

(Cont,Comp)

(Comp,Comp)

Indépendant

Lexicale

Syntaxique

Sémantique

Page 40: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

PlanPlan

ObjectifsObjectifs Différentes approchesDifférentes approches Notre espace de conceptionNotre espace de conception ExemplesExemples Conclusion et perspectivesConclusion et perspectives

Page 41: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

ConclusionConclusion

Interaction bi-manuelle au sein d’un environnement Interaction bi-manuelle au sein d’un environnement mixtemixte

Espace de conception 2MEspace de conception 2M

– Pouvoir taxinomique des systèmes interactifs bi-manuels Pouvoir taxinomique des systèmes interactifs bi-manuels existantsexistants

20 syst20 systèmes classésèmes classés

– Pouvoir génératif de nouvelles techniquesPouvoir génératif de nouvelles techniquesPouvoir comparatif : guide Pouvoir comparatif : guide à la conceptionà la conception

Conception de notre environnement mixte pour les biologistes Conception de notre environnement mixte pour les biologistes basbasée sur l’espace 2Mée sur l’espace 2M

Evaluation expérimentale à mener et à lier à l’espaceEvaluation expérimentale à mener et à lier à l’espace

Page 42: Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de Grenoble 2M : un Espace de Conception pour l’Interaction

Equipe Ingénierie de l’Interaction Homme-Machine (IIHM)Laboratoire CLIPS-IMAGUniversité de Grenoble

Questions ?Questions ?