Equipe IIHM - UJFIngénierie de l’Interaction Homme-Machine

Université Joseph Fourier

ENST-Paris, 06 Décembre 2005, Journée ADAPT

2

IIHM en chiffres

• Équipe créée en 1990

• 5 enseignants-chercheurs– Joëlle Coutaz, PREx UJF, IHM plastique, IHM multimodale– Laurence Nigay, PR UJF (membre Jr. IUF), IHM multimodale– Gaëlle Calvary, MdC UJF, (ENSIMAG, Thalès), IHM plastique– François Bérard, MdC INPG, Techniques d’interaction Post-WIMP, vision

par ordinateur– Sophie Dupuy-Chessa, MdC UPMF, modélisation des Syst. d’Information

• 14 doctorants, 6 DEA– Lionel Balme– Alexandre Demeure– Jean-Sébastien Sottet– Anne Roudaut

• 1 ingénieur– Xavier Alvaro (à partir du 1er janvier 2006)

3

Thématique scientifique

• Génie Logiciel pour l’Interaction Homme-Machine

Utilisateur

Appui surPsychologieErgonomie

ContributionInformatique

Interaction

Système

4

Objectifs scientifiques

• Développer des outils– conceptuels : théories, modèles, méthodes– techniques : bibliothèques, ateliers de développement, infrastruct.

• Inventer, évaluer de nouvelles techniques d’interaction

• Le tout, motivé par les principes fondateurs de l’IHM– utilité : fournir les services attendus par l’utilisateur cible– utilisabilité : assurer la conformité avec les capacités

cognitives/motrices/sensorielles de l’utilisateur cible: assurer la conformité avec les situations d’usage

5

IHM et Adaptation dynamique

• Des interfaces Homme-Machine plastiques

• Contexte: Informatique ambianteet plastiques

6

Plasticité des Systèmes Interactifs

• Capacité d’adaptation du système interactif aux changements du contexted’interaction dans le respect de son utilisabilité

• Adaptation de l’IHM = 3 leviers– Remodelage (partiel ou total)– Migration (partielle ou totale)– Distribution (partielle ou totale)

7

• CamNote

1. IHM centralisée (PC)

2. Arrivée du PDA: migrationpartielle de l’IHM

3. IHM distribuée (PC et PDA) etremodelée

Remodelage du panneau de contrôle

Leviers de l’adaptation

8

Plasticité des Systèmes Interactifs

• Capacité d’adaptation du système interactif aux changements du contexted’interaction dans le respect de son utilisabilité

• Adaptation des IHM = 3 leviers– Remodelage (partiel ou total)– Migration (partielle ou totale)– Distribution (partielle ou totale)

• Remodelage– Intra-modal– inter-modal– Multi-modal

9

Plasticité des Systèmes Interactifs

• Capacité d’adaptation du système interactif aux changements du contexted’interaction dans le respect de son utilisabilité

• Adaptation des IHM = 3 leviers– Remodelage (partiel ou total)– Migration (partielle ou totale)– Distribution (partielle ou totale)

• Contexte d’interaction = 2 vues– Context as data : un espace structuré d’informations (user cible, plate-forme,

environnement physique et social)– Context as process : une finalité = servir le processus (système) d’adaptation

• Préservation de l’utilisabilité = préservation de la Valeur– La Valeur dépend du contexte d’interaction Ci– Ci -> Fi {critère, poids, domaine de valeurs}– Critères génériques, Critères spécifiques

10

Approche et Contributions• Modèles computationnels pour la plasticité des IHM selon une

approche MDE (Model Driven Engineering) et à composants

• Définition des méta-modèles et modèles nécessaires• Modèle de tâche• Modèle du contexte• Modèle IHM abstraite• Modèle IHM concrète• Modèle des interacteurs

• Spécification de l’architecture de l’infrastructure d’exécution• Décomposition fonctionnelle• Hypothèse : à l’exécution, tous les modèles sont vivants : la transformation de

modèles peut aussi avoir lieu à l’exécution

• Identification des techniques d’implémentation,• Développement d’outils

Transformations de modèles et mappings: méta-modèles

Transformations de modèles et mappings: méta-modèleset modèles

13

• Starting point: sensing is key to novelty in HCI

• Basic concepts [Coutaz & Crowley 02]– Observable: a value captured or computed by the “system”– Entity: a correlated set of observables (real world or digital objects)– Relation: a predicate defined over entities– Role: a function that entities can satisfy– The context: a graph of contexts where each context is defined over a

set of Roles, Relations, and entities: our way to give boundaries tocontext

– A context: a graph of situations where the situations share the sameset of Roles and relations

Context-1Context-3

Context-2Context-4

Context Graph

Context-2

R1R2e2e1

r e2e1

Context-1

R1R2e2e1

r e2e1 Context-3

R1R2e2e1

r e2e1

New roleR3

New relationr’

Contexte et contexte d’usage

14

• Basic concepts [Coutaz & Crowley]– Observable: a value captured or computed by the “system”– Entity: a correlated set of observables (real world or digital objects)– Relation: a predicate defined over entities– Role: a function that entities can satisfy– The context: a graph of contexts where each context is defined over

its own set of Roles, Relations, and Entities– A context: a graph of situations where the situations share the same

set of Roles, Relations, and Entities

Context-1Context-3

Context-2Context-4

Context Graph Situation-31Situation-33

Situation-32Situation-34

Situation-35

Situation-36

Context-3 Situation GraphR3, Rel3

R4, Rel4

Contexte et contexte d’usage

15

• Basic concepts [Coutaz & Crowley]– Observable: a value captured or computed by the “system”– Entity: a correlated set of observables (real world or digital objects)– Relation: a predicate defined over entities– Role: a function that entities can satisfy– The context: a graph of contexts where each context is defined over

its own set of Roles and Relations, and Entities– A context: a graph of situations where the situations share the same

set of Roles and relations, and Entities

Situation-31Situation-33

Situation-32Situation-34

Situation-35

Situation-36

Context-3 Situation Graph

S33R1R2

e1e2

re2e1

S34R1R2

e2e1

r e2e1S32

R1R2

e2e1

re1e2

Assignment to Role

has changed

Relation has changed

New entity

S31R1R2

e2e1

re2e1 e3

Contexte et contexte d’usage

Décomposition fonctionnelle

Décomposition fonctionnelle

18

Conclusion

• Pour nous: Adaptation dynamique = plasticité dessystèmes interactifs

• Plasticité = Capacité d’adaptation d’un système interactifau Contexte d’interaction en préservant l’utilisabilité

• Contexte d’interaction = un graphe, dont les nœuds sontdes graphes de situations

• Approche MDE et à composants• Cadre conceptuel posé• Actuellement en phase d’une première véritable

implémentation.