Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG Universit é de...

Preview:

Citation preview

Equipe Ingénierie de l’Interaction Homme-Machine (IIHM)Laboratoire CLIPS-IMAGUniversité de Grenoble

2M : un Espace de Conception pour 2M : un Espace de Conception pour l’Interaction Bi-Manuellel’Interaction Bi-Manuelle

Gilles BAILLY, Laurence NIGAY, David AUBERGilles BAILLY, Laurence NIGAY, David AUBER

IntroductionIntroduction

L’informatique ubiquitaireL’informatique ubiquitaire– Fusion des mondes physique et numériqueFusion des mondes physique et numérique– Définition d’un espace mixteDéfinition d’un espace mixte

L’interaction bi-manuelle au sein d’un L’interaction bi-manuelle au sein d’un environnement mixteenvironnement mixte

IntroductionIntroduction

Domaine d’application : BiologieDomaine d’application : Biologie– Environnement informationnel mixte pour les Environnement informationnel mixte pour les

biologistesbiologistes– Manipulation bi-manuelle de grands graphes Manipulation bi-manuelle de grands graphes

avec des jetonsavec des jetons Graphe : Acide ribonucléiqueGraphe : Acide ribonucléique

Interaction bi-manuelle au sein d’un Interaction bi-manuelle au sein d’un environnement mixte : pourquoi ?environnement mixte : pourquoi ?

NaturelleNaturelle Performante Performante

– ParallélismeParallélisme– Augmentation du Langage d’Interaction Augmentation du Langage d’Interaction

(pouvoir d’expression)(pouvoir d’expression)

Interaction bi-manuelle au sein d’un Interaction bi-manuelle au sein d’un environnement mixte : pourquoi ?environnement mixte : pourquoi ?

NaturelleNaturelle Performante Performante

– ParallélismeParallélisme – Augmentation du Langage d’Interaction Augmentation du Langage d’Interaction

(pouvoir d’expression)(pouvoir d’expression)

Manipulation d’un Manipulation d’un rectangle : rotation/ rectangle : rotation/ translation/ homothétietranslation/ homothétie

Interaction bi-manuelle : attention !Interaction bi-manuelle : attention !

Pas toujours pertinente selon la tPas toujours pertinente selon la tâcheâche Exemple Exemple

– Kabbash P., Buxton W., Sellen A., "Two-Kabbash P., Buxton W., Sellen A., "Two-Handed Input in a Compound Task", Handed Input in a Compound Task", Proceedings of CHI’94, 417-423.Proceedings of CHI’94, 417-423.

PlanPlan

ObjectifsObjectifs Différentes approchesDifférentes approches Notre espace de conceptionNotre espace de conception ExemplesExemples Conclusion et perspectivesConclusion et perspectives

ObjectifsObjectifs

Apporter les avantages du monde physique Apporter les avantages du monde physique dans le monde numériquedans le monde numérique

Etude de l’interaction bi-manuelle au sein Etude de l’interaction bi-manuelle au sein d’une environnement mixted’une environnement mixte

Espace de conception 2MEspace de conception 2M

Constat : Constat : pourquoi un espace de conceptionpourquoi un espace de conception

Aujourd’hui : systAujourd’hui : systèmes conçus et développés èmes conçus et développés de façon ad hoc (faible capitalisation des de façon ad hoc (faible capitalisation des expériences)expériences)

Absence d’éléments Absence d’éléments de conceptionde conception de développementde développement d’évaluationd’évaluation

Objectifs : espace de conceptionObjectifs : espace de conception

Organisation des éléments de conception Organisation des éléments de conception dans un canevas cohérentdans un canevas cohérent

Pouvoir taxinomique des systèmes interactifs Pouvoir taxinomique des systèmes interactifs

bi-manuels existantsbi-manuels existants Pouvoir génératif de nouvelles techniquesPouvoir génératif de nouvelles techniques Pouvoir comparatif : guide Pouvoir comparatif : guide à la conceptionà la conception

PlanPlan

ObjectifsObjectifs DiffDifférentesérentes approches approches Notre espace de conceptionNotre espace de conception ExemplesExemples Conclusion et pConclusion et perspectiveserspectives

DiffDifférentes érentes approchesapproches

Exploitation de plusieurs domaines et axesExploitation de plusieurs domaines et axes

Psychologie [Guiard 87]Psychologie [Guiard 87]

IHMIHM– Interaction à deux mains [Buxton 05]Interaction à deux mains [Buxton 05]– MultimodalitéMultimodalité

Psychologie : Modèle de la chaPsychologie : Modèle de la chaîîne ne cinématiquecinématique

Coopération Coopération à deux mainsà deux mains

La main non La main non dominante fixe le dominante fixe le contextecontexte

La main non La main non dominante précède dominante précède

Macro versus MicroMacro versus Micro

La main dominante La main dominante est la main préféréeest la main préférée

DiffDifférentes érentes approchesapproches

Exploitation de plusieurs domaines et axesExploitation de plusieurs domaines et axes

Psychologie [guiard 87]Psychologie [guiard 87]

IHMIHM– Interaction à deux mains [Buxton 05]Interaction à deux mains [Buxton 05]

Langage de l’actionLangage de l’action Relation temporelleRelation temporelle

– MultimodalitéMultimodalité

Langage de l’actionLangage de l’action

Actions discrètesActions discrètes : : les actions discrètes sont des les actions discrètes sont des actions qui impliquent le actions qui impliquent le déclenchement discret des déclenchement discret des événementsévénements (saisir au clavier, utiliser les touches (saisir au clavier, utiliser les touches spéciales, appuyer sur un bouton d’une souris)spéciales, appuyer sur un bouton d’une souris)

Actions continuesActions continues : : les actions continues sont des les actions continues sont des actions qui impliquent le actions qui impliquent le contrcontrôôle continu de un ou le continu de un ou plusieurs degrés de libertéplusieurs degrés de liberté (d (déplacer un élément éplacer un élément graphique avec la sourisgraphique avec la souris))

Actions composéesActions composées :  : les actions composées sont les actions composées sont des actions qui des actions qui entrelacent des actions continues et entrelacent des actions continues et des actions discrètesdes actions discrètes (d (déplacer le curseur sur un objet éplacer le curseur sur un objet graphique puis le sélectionner avec la souris)graphique puis le sélectionner avec la souris)

MDMD MNDMND

discrdiscrèètete continuecontinue composéecomposée

discrdiscrèètete Saisie de Saisie de textetexte

ClavierClavier

ClavierClavier

SélectionSélection

JoystickJoystick

Touches Touches spécialesspéciales

SSélection multipleélection multiple

SourisSouris

Touches Touches spécialesspéciales

continuecontinue Étirer une ligne Étirer une ligne de chaque cde chaque côôtété

JetonJeton

JetonJeton

DDéfileréfiler –naviguer –naviguer page WEBpage WEB

SourisSouris

TrackballTrackball

composéecomposée Dessiner Dessiner ( d( déplaceréplacer + + colorier)colorier)

StyletStylet

DoigtDoigt

Langage de l’actionLangage de l’action

11 22

33 44

Relation temporelleRelation temporelle

DiffDifférentes érentes approchesapproches

Exploitation de plusieurs domaines et axesExploitation de plusieurs domaines et axes

Psychologie [Guiard 87]Psychologie [Guiard 87]

IHMIHM– Interaction à deux mains [Buxton 05]Interaction à deux mains [Buxton 05]– MultimodalitéMultimodalité

DDéfinitionséfinitions [Nigay 94] [Nigay 94] Typologie [Nigay 93]Typologie [Nigay 93] Extension [Vernier 01] Extension [Vernier 01]

Dispositif Langage Tâche

Modalité

Canal gestuel

Main dominante

ou

Main non dominante

Niveau Niveau d’abstractiond’abstraction

Multimodalité : DMultimodalité : Définitions [Nigay éfinitions [Nigay 94]94]

AlternéAlterné SynergieSynergie

ExclusifExclusif ConcurrentConcurrent

DépendanceDépendance

TempsTempsséquentielséquentiel parallèleparallèle

IndépendantIndépendant

CombinéCombiné

Multimodalité : Typologie [Nigay 93]Multimodalité : Typologie [Nigay 93]

LexicaleLexicaleSyntaxiqueSyntaxiqueSSémantiquémantiquee

DépendanDépendantt

ConcurrentConcurrentee

ComplémeComplémen-tairen-taire

ComplémenComplémentaire + taire + redondanteredondante

PartiellemPartiellement ent redondantredondantee

TotalemenTotalement t redondantredondantee

Indé-Indé-pendantpendant

anachroniqanachroniqueue

séquentiellséquentiellee

ConcomitanConcomitantete

CoïncidentCoïncidentee

ParallèleParallèle

Multimodalité : Typologie [Vernier Multimodalité : Typologie [Vernier 01]01]

Extension par affinement de l’axe temporelExtension par affinement de l’axe temporel

TempsTemps

DépendanceDépendance

PlanPlan

ObjectifsObjectifs Différentes approchesDifférentes approches Notre espace de conceptionNotre espace de conception ExemplesExemples Conclusion et perspectivesConclusion et perspectives

MutimodalitéMutimodalité

Relation temporelleRelation temporelle

Langage d’actionLangage d’action

Notre espace Notre espace de conceptionde conception

Combiner trois approchesCombiner trois approches

Nature de l’action

Fusion

Temps

Notre espace de conception : 2MNotre espace de conception : 2M

Trois axesTrois axes TempsTemps : :

usage séquentiel / parallèleusage séquentiel / parallèle

Nature de l’actionNature de l’action : : (MND,MD)(MND,MD)

FusionFusion : : lexicale, syntaxique, sémantiquelexicale, syntaxique, sémantique

 

Considérés Considérés par Buxtonpar Buxton

RegroupRegroupésés sous le terme sous le terme parallélismeparallélisme

2M : Axe Temps 2M : Axe Temps

ConcomitanteConcomitante CoïncidenteCoïncidente

ParallèleParallèle

2M : Axe Temps2M : Axe Temps

Temps

parallèleAnachroniqueSéquentiel

Concomitant

Coïncident

2M : Axe Temps2M : Axe Temps

Nature de l’action

Fusion

Temps

parallèleAnachroniqueSéquentiel

ConcomitantCoïncident

2M : Axe Nature de l’action2M : Axe Nature de l’action

(Dis,Cont)

(Dis,Dis)

(Dis,Comp)

(Cont,Cont)

(Cont,Comp)

(Comp,Comp)

Dis : discrDis : discrèèteteCont : continueCont : continueComp : composéeComp : composée

Fusion Lexicale

Fusion Syntaxique

Fusion Sémantique

Modalité

Niveau Niveau d’abstractiond’abstraction

2M : Axe Fusion2M : Axe Fusion

Fusion de Fusion de bas bas

niveau niveau

Shift -Shift -clickclick

Fusion des Fusion des paramètres paramètres

«mets ça la»«mets ça la»

Fusion des Fusion des tâches tâches

CharChar

Dis : discrDis : discrèèteteCont : continueCont : continueComp : composéeComp : composée

Notre espace de conception : 2MNotre espace de conception : 2M

Nature de l’action

Fusion

Temps

parallèleAnachroniqueSéquentiel

ConcomitantCoïncident

(Dis,Cont)

(Dis,Dis)

(Dis,Comp)

(Cont,Cont)

(Cont,Comp)

(Comp,Comp)

Indépendant

Lexicale

Syntaxique

Sémantique

PlanPlan

ObjectifsObjectifs Différentes approchesDifférentes approches Notre espace de conceptionNotre espace de conception ExemplesExemples Conclusion et perspectivesConclusion et perspectives

Notre espace de conception : 2MNotre espace de conception : 2M

EXEMPLESEXEMPLES Nature de l’action

Fusion

Temps

parallèleAnachroniqueSéquentiel

ConcomitantCoïncident

(Dis,Cont)

(Dis,Dis)

(Dis,Comp)

(Cont,Cont)

(Cont,Comp)

(Comp,Comp)

Indépendant

Lexicale

Syntaxique

Sémantique

ExemplesExemples

Two-Handed Interaction on a Tablet DisplayTwo-Handed Interaction on a Tablet DisplayUniversity of California, BerkeleyUniversity of California, Berkeley

Notre espace de conception : 2MNotre espace de conception : 2M

Déplacement puis dessinDéplacement puis dessin

Nature de l’action

Fusion

Temps

parallèleAnachroniqueSéquentiel

ConcomitantCoïncident

(Dis,Cont)

(Dis,Dis)

(Dis,Comp)

(Cont,Cont)

(Cont,Comp)

(Comp,Comp)

Indépendant

Lexicale

Syntaxique

Sémantique

Notre espace de conception : 2MNotre espace de conception : 2M

Déplacement puis dessinDéplacement puis dessin Dessin et Dessin et

changement de couleurchangement de couleur

Nature de l’action

Fusion

Temps

parallèleAnachroniqueSéquentiel

ConcomitantCoïncident

(Dis,Cont)

(Dis,Dis)

(Dis,Comp)

(Cont,Cont)

(Cont,Comp)

(Comp,Comp)

Indépendant

Lexicale

Syntaxique

Sémantique

ExemplesExemples

DDémonstrateur NavGrapheémonstrateur NavGrapheCLIPS-IMAG et LABRICLIPS-IMAG et LABRI

Notre espace de conception : 2MNotre espace de conception : 2M

Rotation-ZoomRotation-Zoom

Nature de l’action

Fusion

Temps

parallèleAnachroniqueSéquentiel

ConcomitantCoïncident

(Dis,Cont)

(Dis,Dis)

(Dis,Comp)

(Cont,Cont)

(Cont,Comp)

(Comp,Comp)

Indépendant

Lexicale

Syntaxique

Sémantique

ExemplesExemples

Déformation de graphes / reconstruction de Déformation de graphes / reconstruction de d’arêtesd’arêtes

QuickTime™ et undécompresseur H.263

sont requis pour visionner cette image.

Notre espace de conception : 2MNotre espace de conception : 2M

Nature de l’action

Fusion

Temps

parallèleAnachroniqueSéquentiel

ConcomitantCoïncident

(Dis,Cont)

(Dis,Dis)

(Dis,Comp)

(Cont,Cont)

(Cont,Comp)

(Comp,Comp)

Indépendant

Lexicale

Syntaxique

Sémantique

PlanPlan

ObjectifsObjectifs Différentes approchesDifférentes approches Notre espace de conceptionNotre espace de conception ExemplesExemples Conclusion et perspectivesConclusion et perspectives

ConclusionConclusion

Interaction bi-manuelle au sein d’un environnement Interaction bi-manuelle au sein d’un environnement mixtemixte

Espace de conception 2MEspace de conception 2M

– Pouvoir taxinomique des systèmes interactifs bi-manuels Pouvoir taxinomique des systèmes interactifs bi-manuels existantsexistants

20 syst20 systèmes classésèmes classés

– Pouvoir génératif de nouvelles techniquesPouvoir génératif de nouvelles techniquesPouvoir comparatif : guide Pouvoir comparatif : guide à la conceptionà la conception

Conception de notre environnement mixte pour les biologistes Conception de notre environnement mixte pour les biologistes basbasée sur l’espace 2Mée sur l’espace 2M

Evaluation expérimentale à mener et à lier à l’espaceEvaluation expérimentale à mener et à lier à l’espace

Equipe Ingénierie de l’Interaction Homme-Machine (IIHM)Laboratoire CLIPS-IMAGUniversité de Grenoble

Questions ?Questions ?

Recommended