Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité...

L’émotion dans les systèmes interactifs

Domaines d’expérimentation :

la danse & la réalité augmentée.

Conférence - Démonstrationdansée

Gaël Domenger, Centre Chorégraphique National - Thierry Malandain, Ballet Biarritz

Alexis Clay, ESTIA, LaBRI, Université de Bordeaux.

Elric Delord, ESTIA

Nadine Couture, ESTIA, LaBRI

Laurence Nigay, Université Joseph Fourier, LIG

etc…

Managm

ent mental

Sport de haut niveau

Stress des pilotes pôle aérospace valley

Ballet A

ugmenté

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 4

L’émotion est assez peu étudiée en IHM

C’est pourtant, peut être, la part la plus

Humaine de l’IHM !

L’émotion devrait être un élément clé de

notre discipine qui étudie les Humains

Interagissant avec les Machines.

Capture

Analysis

Interpretation

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 5

Différentes manières de l’aborder … notre approche :

Le geste et la position du corps traduit un état affectif …

Comment faire réagir le système

informatique selon l’état affectif capturé ?

Point de vue génie logiciel

centré utilisateur !

Capture

Analysis

Interpretation

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 6

CARE is a French research project funded by the French research agency (ANR). The project brings together 7 partners, whose goal is to integrate, adapt and develop tools to enhance interactive systems devoted to cultural experiences. These enhancements

are based on augmented reality and emotions.

ESTIAFrench Research Agency

GIPSAImmersion

IRITLIG

LIMSIMetapages

UTT

+Capture

Analysis

Interpretation

Démonstration de l’application

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 8

CAPTURE

ANALYSE

INTERPRETATION

Dispositifs

Caractéristiques

Emotion

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 9

Architecture à composants

Composant: boîte noire. Définie par ses entrées, sorties (paramètres)

Communication par flux de signaux entre composants

Avantage: réutilisabilité des composants, modifiabilité du système

Flux entrants

Flux sortants

paramètre

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 10

Capture Analyse Interprétation

Unités de CaptureExtracteurs de caractéristiques Interpréteurs

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 11

Composant Capture Composant Analyse Composant interprétation

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 12

La reconnaissance d'émotion en tant qu'interaction

Modalité := (d, sr) | (modalité, sr) Ex de SR: Coordonnées de mains: 2 * 6 degrés de

libertés; coordonnées du corps complet, 23 segments <X, Y, Z, q1, q2, q3, q4>

Système représentationnel: permet d’identifier les flux qu’il est possible de fusionner

Composition des modalités: propriétés CARE

Architecture de l’application

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 14

Représentation graphique

IG NF

CD

IG NF

Niveau Capture

Niveau Analyse

Niveau Interprétation

Unités de capture

Extracteurs de caractéristiques

Interpréteurs

PAC-Amodeus, A Software Architecture Model for Multimodal Systems, L. Nigay, 1993.

Fonctionnement à l’exécution

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 16

21

Pol

Moven

S+F

Composant Capture Composant Analyse Composant interprétation

Arm

Speed

Trunk

Vert

SagX

SagN

Interp

S.R.

2x coord

S.R.

4 caracs

emotion

The contribution of general features of body movement to the attribution of emotions, deMeijer, 1989

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 17

Pol

Moven

S+F

Composant Capture Composant Analyse Composant interprétation

Arm

Speed

Trunk

Vert

SagX

SagN

S.R.

Corps

S.R.

5 caracs

21

Interp

emotion

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 18

Pol

Moven

S+F

Composant Capture Composant Analyse Composant interprétation

Arm

Speed

Trunk

Vert

SagX

SagN

21

Interp

emotion

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 19

Pol

Moven

S+F

Composant Capture Composant Analyse Composant interprétation

Arm

Speed

Trunk

Vert

SagX

SagN

Changement:

Calcul sagittal

21

Interp

emotion

Réutilisabilité

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 21

Pol

Moven

S+F

Composant Capture Composant Analyse Composant interprétation

Arm

Speed

Trunk

Vert

SagX

SagN

Interp2

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 22

Pol

Moven

S+F

Composant Capture Composant Analyse Composant interprétation

Arm

Speed

Trunk

Vert

SagX

SagN

Interp2

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 23

Pol

Moven

S+F

Composant Capture Composant Analyse Composant interprétation

Arm

Speed

Trunk

Vert

SagX

SagN

Interp2

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 24

Discussion: réutilisabilité des éléments

• Unités de capture: pleinement réutilisable

• Extracteurs de caractéristiques: condition des données en entrées Adaptateurs

• Interpréteurs: caractéristiques en entrée et format

•La synchronisation et la redistribution des flux de données n’est pas générique dans la version actuelle mais peut être rendue générique

•La fusion est par nature un système ad hoc.

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 25

Questions?