71
Modèle d’architecture pour la reconnaissance d’émotions : application au mouvement et à la danse augmentée Alexis Clay 7 décembre 2009 1 Thèse encadrée par Nadine Couture, Maylis Delest, Laurence Nigay

Alexis Clay 7 décembre 2009

  • Upload
    susan

  • View
    27

  • Download
    3

Embed Size (px)

DESCRIPTION

Modèle d’architecture pour la reconnaissance d’émotions : application au mouvement et à la danse augmentée. Alexis Clay 7 décembre 2009. Thèse encadrée par Nadine Couture, Maylis Delest , Laurence Nigay. Domaine de recherche. Ingénierie de la reconnaissance d’émotions. - PowerPoint PPT Presentation

Citation preview

Page 1: Alexis Clay 7 décembre 2009

1

Modèle d’architecture pour la reconnaissance d’émotions :

application au mouvement et à la danse augmentée

Alexis Clay7 décembre 2009

Thèse encadrée par Nadine Couture, Maylis Delest, Laurence Nigay

Page 2: Alexis Clay 7 décembre 2009

2

Domaine de recherche

Ingénierie de la reconnaissance d’émotions

Page 3: Alexis Clay 7 décembre 2009

3

Besoin d’ingénierie pour les systèmes de reconnaissance

d’émotions

Klein 2002

Reynolds 2001

Healey 1998

personnalisée générique

active

passive

Aznar 2005

Balome-nos 2004

Busso 2004

Camurri 2004

Camurri 2001

Camurri 2000

Castella-no 2008

Chanel 2006

Chi 2000

El Kaliou-by 2004

El Nasr 2000

Castella-no 2009

Gebhard 2005

Ghamen 2008

Gunes 2004

Hammal 2007

Ioannou 2006

Jin 2005

Kapoor 2005

Kim 2006

Lisetti 2004

Mota 2003

Paleari 2006

Pantic 2006

Peter 2005

Scheirer 1999

Volpe 2003

Vyzas et 1999

Wong 2006

Zeng 2006

Zeng 2004

Hétérogénéité des systèmes

passifs et génériques

Page 4: Alexis Clay 7 décembre 2009

4

Objectif

Un modèle unificateur pour la reconnaissance d’émotions

Page 5: Alexis Clay 7 décembre 2009

5

Comment concevoir un modèle d’architecture ?

Analyse du domaine Modèle d’architecture conceptuelle

Styles et motifs architecturaux Coutaz 2001

Validation du modèle1

2

3 4

Page 6: Alexis Clay 7 décembre 2009

6

Analyse du domaine Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du modèle1

2

3 4

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

B) Décomposition en un motif fonctionnel du domaine

C) Requis pour le modèle

A) Définition d’une émotion et de la reconnaissance d’émotions

Définitions motif fonctionnel RequisDéfinitions

Page 7: Alexis Clay 7 décembre 2009

7

Une taxonomie adaptée à l’informatique

Caractéristiques

Etats affectifs

Focus sur l’évènement

Déclenchement d’une évaluation

Intensité

Durée Rapidité de changement

Impact sur le comportement

Synchronisation

Émotions: en colère, triste, joyeux, apeuré, honteux, fier

Humeurs: gai, morose, apathique, enjoué

Positions interpersonnelles: distant, froid, chaleureux

Préférences/ Attitudes: aimant, haïssant, désireux

Dispositions affectives: nerveux, anxieux

Scherer, 2004

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

motif fonctionnel RequisDéfinitions

Evènement Evaluation Expression hautement synchronisée

Définition précise et unificatrice

intenses, courtes

Réactions:MentalesPhysiquesphysiologiques

Page 8: Alexis Clay 7 décembre 2009

8

Processus humain d’interaction émotionnelle

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

motif fonctionnel RequisDéfinitions

Expérience émotionnelle

Expression

Communicationvers l’extérieur

Reconnaître des caractéristiques

Capter l’information

Evènement Réaction

Reconnaître l’émotion

4 canauxVisage

VoixMouvement

Réactions neurophysiologiques (ANS)

Page 9: Alexis Clay 7 décembre 2009

9

Processus informatique de reconnaissance émotionnelle

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

motif fonctionnel RequisDéfinitions

Reconnaître l’émotion

Reconnaître des caractéristiques

Capter la communication

Réaction

Reconnaître l’émotion

Reconnaître des caractéristiques

Capter l’information

Réaction

Capteurs

Identification et validation de caractéristiques;Reconnaissance multicanaux

Définition et modèles d’émotionsAlgorithmes d’interprétation

Modifier le comportement du système

Page 10: Alexis Clay 7 décembre 2009

10

Analyse du domaine Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du modèle1

2

3 4

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

B) Décomposition en un motif fonctionnel du domaine

C) Requis pour le modèle

A) Définition d’une émotion et de la reconnaissance d’émotions

Définitions Décomposition fonctionnelle RequisMotif fonctionnel

Page 11: Alexis Clay 7 décembre 2009

11

Reconnaître l’émotion

Reconnaître des caractéristiques

Capter l’information

Emergence d’un motif fonctionnel des systèmes existants

Analyse

Capture

Interprétation

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Définitions RequisMotif fonctionnel

Aznar 2005

Balome-nos 2004

Busso 2004

Camurri 2004

Camurri 2001

Camurri 2000

Castella-no 2008

Chanel 2006

Chi 2000

El Kaliou-by 2004

El Nasr 2000

Castella-no 2009

Gebhard 2005

Ghamen 2008

Gunes 2004

Hammal 2007

Ioannou 2006

Jin 2005

Kapoor 2005

Kim 2006

Lisetti 2004

Mota 2003

Paleari 2006

Pantic 2006

Peter 2005

Scheirer 1999

Volpe 2003

Vyzas et 1999

Wong 2006

Zeng 2006

Zeng 2004

Hétérogénéité des systèmes

passifs et génériques

Capter l’information de l’utilisateur de façon passive

Extraire des caractéristiques émotionnellement pertinentes

Inférer une émotion à partir des valeurs des caractéristiques considérées

Page 12: Alexis Clay 7 décembre 2009

12

Caractère unificateur du motif en trois niveaux

Camurri 2004

Camurri et 2001

Castella-no 2008

Castella-no 2009

Castella-no 2008

Volpe 2003

Analyse

Capture

Interprétation

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Définitions RequisMotif fonctionnel

Capture vidéo

Prétraitement de l’image

Caractéristiques bas niveau

Caractéristiques haut niveau

Interprétation

Page 13: Alexis Clay 7 décembre 2009

13

Analyse du domaine Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du modèle1

2

3 4

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

B) Décomposition en un motif fonctionnel du domaine

C) Requis pour le modèle

A) Définition d’une émotion et de la reconnaissance d’émotions

Définitions Motif fonctionnel RequisRequis

Page 14: Alexis Clay 7 décembre 2009

14

Capteurs, caractéristiques, et interprétations variées

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Définitions Motif fonctionnel RequisRequis

Analyse

Capture

Interprétation

Approche théorique (psychologie):Approche catégorielleApproche continueApproche à composants

Ekman, 1999

Russell 1980, Mehrabian 1999

Scherer 1984

Outil algorithmique (informatique):Algorithmes de classificationAlgorithmes sans classification Lisetti 2006

Ioannou 2006, Ghamen 2008…

Visage: FACS

Voix: hauteur moyenne, vitesse, intensité…

Mouvement: tronc, vitesse, directivité…

ANS: rythme cardiaque, sudation…

Ekman, 1979

DeMeijer 1989

Scherer 1985 Sebe 2005

Zeng 2009

Volpe 2003

Chanel 2006

Requis

1) Système ouvert

Page 15: Alexis Clay 7 décembre 2009

15

Nécessité de séquence de traitements à chaque niveau

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Définitions Motif fonctionnel Requis

Capture vidéo

Prétraitement de l’image

Caractéristiques bas niveau

Caractéristiques haut niveau

Interprétation

Capture vidéo

Prétraitement de l’image

Caractéristiques bas niveau

Caractéristiques haut niveau

Interprétation

Mélange des interprétations

Camurri 2004

Castella-no 2008

Castella-no 2009

Castella-no 2008

Volpe 2003

Requis

1) Système ouvert

2) Séquences de traitements

3) Reconnaissance multicanaux

Page 16: Alexis Clay 7 décembre 2009

16

Caractéristiques bloquantes

Capture vidéo

Prétraitement

Carac. bas niveau

Carac. haut niveau

Interprétation

Capture vidéo

Prétraitement

Carac. bas niveau

Carac. haut niveau

Interprétation

Mélange des interprétations

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Définitions Motif fonctionnel Requis

Geste direct

Début

Fin

Geste indirect

Début

Fin

directivité

Directivité = chemin parcouru / le plus court

Volpe 2003

Requis

1) Système ouvert

2) Séquences de traitements

3) Reconnaissance multicanaux

4) Gestion des caractéristiques temporisées

Page 17: Alexis Clay 7 décembre 2009

17

Intégration de systèmes tiers

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Définitions Motif fonctionnel Requis

Détection de forme de la

boucheInterprétation

vidéo forme

Interprétation

vidéoForme de la bouche

vidéoForme de la bouche émotion

Système tiers

Système tiers

Système tiers

Requis

1) Système ouvert

2) Séquences de traitements

3) Reconnaissance multicanaux

4) Gestion des caractéristiques temporisées

5) Intégration de systèmes tiers

Page 18: Alexis Clay 7 décembre 2009

18

Analyse du domaine Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du modèle1

2

3 4

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Page 19: Alexis Clay 7 décembre 2009

19

Style : une architecture basée composants

Composant

Réceptacles Puits d’évènements

Facettes

Sources d’évènements

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

La branche émotion : un modèle d’architecture basé composants

Architectures à composants : extensibilité, modifiabilité et réusabilité

Page 20: Alexis Clay 7 décembre 2009

20

Analyse du domaine Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du modèle1

2

3 4

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

B) Appui sur le domaine de l’interaction multimodale

A) Définition de la branche émotion

Définitions Multimodalité SynchronisationLa branche émotion

C) Fusion des données: une synchronisation centralisée

D) Intégration de la branche émotion dans des architectures interactives

Intégration dans l’IHM

E) Intégration de systèmes tiers

Page 21: Alexis Clay 7 décembre 2009

21

Composants pour la reconnaissance d’émotions

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Analyse

Capture

Interprétation

Unité de capture Flux de capture

Extracteur de caractéristiques Flux de caractéristiques

Interpréteur Flux d’émotions

Multimodalité SynchronisationLa branche émotion Intégration dans l’IHM

Adaptateur

Concentrateur

Page 22: Alexis Clay 7 décembre 2009

22

Composant 1 : l’unité de capture

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Rôle : Faire l’interface avec un dispositif

Flux de données:2 x 6 degrés de libertéUC: Capteurs

PolhemusPilote

Flux de données:23 x 6 degrés de libertéUC: Combinaison

MovenPilote

Réseau

t0t1 t0t2 t1 t0t2 t1 t0t3 t2 t1 t0t3t4

Appliquer une estampille de temps initial des données aux blocs de données du flux sortant

Multimodalité SynchronisationLa branche émotion Intégration dans l’IHM

t0t1 t0t2 t1 t0t2 t1 t0t3 t2 t1 t0t3t4

Page 23: Alexis Clay 7 décembre 2009

23

Composant 2 : l’extracteur de caractéristiques

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Rôle : extraire une ou plusieurs caractéristiques depuis un ou plusieurs flux de données

EC: écartement des bras

Ouvert / Indéterminé / FerméUC: Combinaison

Moven

UC: Combinaison Moven

EC1: segmentation

du mouvement

EC2: Directivité

UC: Combinaison Moven

EC1: vitesse du bassin

Vecteur vitesse

Lent / Rapide

EC2: direction sagittale

Pause / mouvement

Arrière / immobile / avant

Direct / indirect

Multimodalité SynchronisationLa branche émotion Intégration dans l’IHM

Page 24: Alexis Clay 7 décembre 2009

24

Composant 3 : l’interpréteur

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Rôle : Inférer une émotion depuis les flux de caractéristiques

Modèle d’émotions

Algorithme d’interprétation

Joie / Peur / Colère / Tristesse / Dégoût / Surprise

Multimodalité SynchronisationLa branche émotion Intégration dans l’IHM

Page 25: Alexis Clay 7 décembre 2009

25

Composant 4 : l’adaptateurAnalyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Forme de la bouche

Positions commissurescaméra

Flux vidéo NdG {sourire, neutre, vers le bas}2x (x,y)caméra

Flux vidéo couleur Ad.

Flux vidéo NdG

Rôle : Modifier un flux de données

UC2: combinaison Moven

UC1: capteurs polhemus

Repère (A, x1, y1, z1)

Repère (B, x2, y2, z2)

AdaptateurRepère (B, x2, y2, z2)

Repère (B, x2, y2, z2)

Multimodalité SynchronisationLa branche émotion Intégration dans l’IHM

Page 26: Alexis Clay 7 décembre 2009

26

Composant 5 : le concentrateur

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Rôle : Amalgamer deux flux de données selon une stratégie ad hoc

UC2: combinaison Moven

UC1: capteurs polhemus

Repère (A, x1, y1, z1)

Repère (B, x2, y2, z2)

Adaptateur

Repère (B, x2, y2, z2)

Repère (B, x2, y2, z2)

Concentrateur

Multimodalité SynchronisationLa branche émotion Intégration dans l’IHM

Page 27: Alexis Clay 7 décembre 2009

27

Exemple d’assemblageAnalyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

UC2: Combinaison Moven

UC1: Capteurs Polhemus

Adap-tateur

Concen-trateur

EC1: Courbure du tronc

EC2: Expansion des bras

EC3: Vitesse

EC5: Direction sagittale

EC4: Direction verticale

I: Interpréteur

{Joie, colère, peur, tristesse, dégoût,

surprise}Matrice de poids

Multimodalité SynchronisationLa branche émotion Intégration dans l’IHM

DeMeijer 1989

Page 28: Alexis Clay 7 décembre 2009

28

Analyse du domaine Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du modèle1

2

3 4

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

La Multimodalité Synchronisation Intégration dans l’IHMLa branche émotion Multimodalité

B) Appui sur le domaine de l’interaction multimodale

A) Définition de la branche émotion

C) Fusion des données: une synchronisation centralisée

D) Intégration de la branche émotion dans des architectures interactives

E) Intégration de systèmes tiers

Page 29: Alexis Clay 7 décembre 2009

29

Définition d’une modalité en IHM

Point de vue utilisateur

• Quel dispositif?• Comment communiquer

(voix, geste, manipulation d’un clavier)?

• Comment construire la communication pour être compris par la machine?

Point de vue système

• Quel dispositif?• Dans quel format les

données sont-elles?• Comment fusionner les

données de modalités différentes?

modalité = <dispositif, système représentationnel> | <modalité, système représentationnel>

Nigay 1996

d

sr

dsr

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

La Multimodalité Synchronisation Intégration dans l’IHMLa branche émotion Multimodalité

Bolt 1980

Page 30: Alexis Clay 7 décembre 2009

30

Reconnaissance multimodale != reconnaissance multicanaux

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Point de vue utilisateur

• Quel dispositif?• Comment communiquer

(voix, geste, manipulation d’un clavier)?

• Comment construire la communication pour être compris par la machine?

Point de vue système

• Quel dispositif?• Dans quel format les

données sont-elles délivrées?

• Comment fusionner les données de modalités différentes?

Modalité = <(dispositif | modalité), canal de communication émotionnelle>Ex: <microphone, voix>; <caméra, expressions faciales>; <combinaison de suivi,

mouvement>

Redéfinition d’un point vue système

seul

La Multimodalité Synchronisation Intégration dans l’IHMLa branche émotion Multimodalité

Page 31: Alexis Clay 7 décembre 2009

31

Redéfinition d’une modalité pour notre modèle

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Dispositif Prétrai-tement

Caractéri-stique bas

niveau

Caractéri-stique haut

niveau

Interpré-tation 1

Mélange d’interpré-

tations

Interpré-tation 2

Modalité = <dispositif, système représentationnel> | <modalité, système représentationnel>Modalité = <…<<dispositif, système représentationnel 1>, système représentationnel 2>… >

Modalité = <…< d, srC1>, …, srC

n>, srA1>…, srA

m>, srI

1>…, srIp>

Modalité de capture Modalité d’analyse

Modalité d’interpré-

tation

La Multimodalité Synchronisation Intégration dans l’IHMLa branche émotion Multimodalité

Page 32: Alexis Clay 7 décembre 2009

32

Bénéfices du domaine de la multimodalité

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Assignation

Equivalence

Redondance

Complémentarité

Propriétés CARE Nigay 1995 Martin 1998

Espace TYCOON

Spécialisation

Equivalence

Redondance

Complémentarité

TransfertTransfert

Outils pour la conception d’application multimodale

Bouchet 2006

EC: écartement des bras

UC: Combinaison Moven

UC2: Combinaison Moven

UC1: Capteurs Polhemus

Adap-tateur

Concen-trateur

EC: bras

EC: troncInterpréteur

EC: écartement des bras

UC: Combinaison Moven

La Multimodalité Synchronisation Intégration dans l’IHMLa branche émotion Multimodalité

Page 33: Alexis Clay 7 décembre 2009

33

Appui sur l’interaction multimodale pour une modélisation UML

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Système représentationnel

La Multimodalité Synchronisation Intégration dans l’IHMLa branche émotion Multimodalité

Bouchet 2006

Page 34: Alexis Clay 7 décembre 2009

34

Appui sur l’interaction multimodale pour une modélisation UML

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

La Multimodalité Synchronisation Intégration dans l’IHMLa branche émotion Multimodalité

Bouchet 2006

Page 35: Alexis Clay 7 décembre 2009

35

Propriétés CARE appliquées au modèle: un cadre

génératif

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

CaptureAnalyse

Interprétation

Complémentarité

Assignation

Redondance

Equivalence

Constat: La redondance de caractéristiques et l’équivalence à tous niveaux ne sont pas explorés dans les systèmes existants.

Espace de conception à explorer

La Multimodalité Synchronisation Intégration dans l’IHMLa branche émotion Multimodalité

C

A

R

E

Page 36: Alexis Clay 7 décembre 2009

36

Analyse du domaine Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du modèle1

2

3 4

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Multimodalité Synchronisation Intégration dans l’IHMSynchronisation

B) Appui sur le domaine de l’interaction multimodale

A) Définition de la branche émotion

C) Fusion des données: une synchronisation centralisée

D) Intégration de la branche émotion dans des architectures interactives

E) Intégration de systèmes tiers

Page 37: Alexis Clay 7 décembre 2009

37

Synchronisation des données en reconnaissance d’émotions

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Multimodalité Synchronisation Intégration dans l’IHMSynchronisation

UC2: Combinaison Moven

UC1: Capteurs Polhemus

Adap-tateur

Concen-trateur

EC1: Courbure du tronc

EC2: Expansion des bras

EC3: Vitesse

EC5: direction sagittale

EC4: Direction Verticale

I: Interpréteur

{Joie, colère, peur, tristesse, dégoût,

surprise}Matrice de poids

Apposition d’une estampille de temps entrant des données

Estampille de temps initial: synchronisation de chaque bloc par rapport à l’expression

Chevauchement temporel des blocs même expression émotionnelle

Synchronisation centralisée

Page 38: Alexis Clay 7 décembre 2009

38

Le moteur de synchronisation, un mécanisme sous-jacent à

l’assemblage

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Multimodalité Synchronisation Intégration dans l’IHMSynchronisation

UC2: Combinaison Moven

UC1: Capteurs Polhemus

Adap-tateur

Concen-trateur

EC1: Courbure du tronc

EC2: Expansion des bras

EC3: Vitesse

EC5: direction sagittale

EC4: Direction Verticale

I: Interpréteur

{Joie, colère, peur, tristesse, dégoût,

surprise}Matrice de poids

UC1: Capteurs Polhemus

UC2: Combinaison Moven

Adaptateur

Concentrateur

P

P P P P

A

A

Page 39: Alexis Clay 7 décembre 2009

39

Gestion des caractéristiques bloquantes: le pot de

synchronisation

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Multimodalité Synchronisation Intégration dans l’IHMSynchronisation

UC2: Combinaison Moven

UC1: Capteurs Polhemus

Adap-tateur

Concen-trateur

UC1: Capteurs Polhemus

UC2: Combinaison Moven

Adaptateur

Concentrateur

PMAC

AM

Pot de synchronisation

Un pot / composant: limiter le blocage

Page 40: Alexis Clay 7 décembre 2009

40

Analyse du domaine Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du modèle1

2

3 4

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Synchronisation Intégration dans l’IHMIntégration dans l’IHM

B) Appui sur le domaine de l’interaction multimodale

A) Définition de la branche émotion

C) Fusion des données: une synchronisation centralisée

D) Intégration de la branche émotion dans des architectures interactives

E) Intégration de systèmes tiers

Intégration de systèmes tiers

Page 41: Alexis Clay 7 décembre 2009

41

Intégration dans ARCH

Noyau Fonctionnel

Interface au Noyau

Fonctionnel

Contrôleur de dialogue

Interaction logique

Interaction physique

Mécanisme de branching

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Synchronisation Intégration dans l’IHM Intégration de systèmes tiers

Interprétation

Analyse

Capture

Page 42: Alexis Clay 7 décembre 2009

42

Branchement sur la branche fonctionnelle

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Noyau Fonctionnel

Interface au Noyau

Fonctionnel

Contrôleur de dialogue

Interaction logique

Interaction physique

Interprétation

Analyse

Capture

Exemple: ballet augmenté

Synchronisation Intégration dans l’IHM Intégration de systèmes tiers

Page 43: Alexis Clay 7 décembre 2009

43

Branchement sur le contrôleur de dialogue

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Noyau Fonctionnel

Interface au Noyau

Fonctionnel

Contrôleur de dialogue

Interaction logique

Interaction physique

Interprétation

Analyse

Capture

Exemple: système d’apprentissage

Synchronisation Intégration dans l’IHM Intégration de systèmes tiers

Page 44: Alexis Clay 7 décembre 2009

44

Branchement sur la branche interaction

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Noyau Fonctionnel

Interface au Noyau

Fonctionnel

Contrôleur de dialogue

Interaction logique

Interaction physique

Interprétation

Analyse

Capture

Exemple: changement de modalités pour un pilote stressé

Synchronisation Intégration dans l’IHM Intégration de systèmes tiers

Page 45: Alexis Clay 7 décembre 2009

45

Analyse du domaine Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du modèle1

2

3 4

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Synchronisation Intégration dans l’IHM

B) Appui sur le domaine de l’interaction multimodale

A) Définition de la branche émotion

C) Fusion des données: une synchronisation centralisée

D) Intégration de la branche émotion dans des architectures interactives

E) Intégration de systèmes tiers

Intégration de systèmes tiersIntégration de systèmes tiers

Page 46: Alexis Clay 7 décembre 2009

46

Encapsulation d’un système dans un composant

Synchronisation Intégration dans l’IHM Intégration de systèmes tiers

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

UC2: Combinaison Moven

UC1: Capteurs Polhemus

Adap-tateur

Concen-trateur

EC1: Courbure du tronc

EC2: Expansion des bras

EC3: Vitesse

EC5: direction sagittale

EC4: Direction Verticale

I: Interpréteur

{Joie, colère, peur, tristesse, dégoût,

surprise}Matrice de poids

Système tiers

Système tiers

Limitation pour la synchronisation: estampille de temps des blocs de données

Page 47: Alexis Clay 7 décembre 2009

47

Analyse du domaine Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du modèle1

2

3 4

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

B) Modélisation de systèmes existants

C) Réalisation logicielle: eMotion, un canevas logiciel pour la reconnaissance d’émotions

A) Validation des requis

Requis eMotion Cas applicatifRequis

D) Cas applicatif: reconnaissance d’émotions par le mouvement et ballet augmenté

Page 48: Alexis Clay 7 décembre 2009

48

Validation des requis posés par le domaine

Requis eMotion Cas applicatif

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Gestion des caractéristiques temporisées

Séquences de traitements

Reconnaissance multicanaux

Système ouvert

Intégration de systèmes tiers

Modèle basé composants:Encapsulation des traitements dans des composants indépendantsAssemblage des composants

Redéfinition des concepts de la multimodalité

Point de vue système seulmultimodale

Moteur de synchronisation

Extensibilité, modifiabilité, réusabilité

Réusabilité : au niveau composant, assemblage de composants, branche entière dans un système interactif

Page 49: Alexis Clay 7 décembre 2009

49

Analyse du domaine Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du modèle1

2

3 4

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

B) Modélisation de systèmes existants

C) Réalisation logicielle: eMotion, un canevas logiciel pour la reconnaissance d’émotions

A) Validation des requis

Requis eMotion Cas applicatifeMotion

D) Cas applicatif: reconnaissance d’émotions par le mouvement et ballet augmenté

Page 50: Alexis Clay 7 décembre 2009

50

Outil interactif pour le concepteur

Requis eMotion Cas applicatif

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

UC2: Combinaison Moven

UC1: Capteurs Polhemus

Adap-tateur

Concen-trateur

EC1: Courbure du tronc

EC2: Expansion des bras

EC3: Vitesse

EC5: direction sagittale relative

EC4: Direction Verticale

I: Interpréteur

{Joie, colère, peur, tristesse, dégoût,

surprise}Matrice de poids

EC6: Direction Sagittale Absolue

Page 51: Alexis Clay 7 décembre 2009

51

Une architecture implémentationnelle en agents PAC

Requis eMotion Cas applicatif

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Architecture fonctionnelle: la branche émotion

Architecture implémentationnelle:

eMotion

P A

C

P A

Unités de capture

Extracteurs de caractéristiques Interpréteurs

PAC

Page 52: Alexis Clay 7 décembre 2009

52

3 niveaux pour structurer les communications

Requis eMotion Cas applicatif

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

UC2: Combinaison Moven

UC1: Capteurs Polhemus

Adap-tateur

Concen-trateur

EC1: Courbure du tronc

EC2: Expansion des bras

EC3: Vitesse

EC5: direction sagittale relative

EC4: Direction Verticale

I: Interpréteur

{Joie, colère, peur, tristesse, dégoût,

surprise}Matrice de poids

EC6: Direction Sagittale Absolue

Page 53: Alexis Clay 7 décembre 2009

53

Modifiabilité du système / cas de l’équivalence

A

C

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Requis eMotion Cas applicatif

Cas 1: Redondance

23 x 6 DDL

Modifications circonscrites

Page 54: Alexis Clay 7 décembre 2009

54

Equivalence des dispositifs dans le système

A

C

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Requis eMotion Cas applicatif

Cas 2: usage alternatif

23 x 6 DDL2 x 6 DDL

Modifications propagées

Page 55: Alexis Clay 7 décembre 2009

55

Analyse du domaine Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du modèle1

2

3 4

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

B) Modélisation de systèmes existants

C) Réalisation logicielle: eMotion, un canevas logiciel pour la reconnaissance d’émotions

A) Validation des requis

Requis eMotion Cas applicatifCas applicatif

D) Cas applicatif: reconnaissance d’émotions par le mouvement et ballet augmenté

Page 56: Alexis Clay 7 décembre 2009

56

Evaluation de la reconnaissance d’émotions par

le mouvement

Requis eMotion Cas applicatif

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

• Séquences dansées expressives sur 8 émotions, effectuées par un danseur

• 7 juges sur les lieux de l’enregistrement

Analyse des résultats: fenêtre temporelle trop courte

Page 57: Alexis Clay 7 décembre 2009

57

L’émotion pour moduler les augmentations sur scène

eMotion

Requis eMotion Cas applicatif

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Augmentations

Monde réel Système informatique

Page 58: Alexis Clay 7 décembre 2009

58

• Recherche scientifique: émotion, mouvement

• Recherche artistique– Repartir sur les fondamentaux de la danse pour

redéfinir sa communication avec l’autre

• Résultats:– Conférence dansée (Anglet, 2008)– Conférence interactive (Paris, 2009)– Spectacle augmenté (Bayonne, 2009)

Recherche collaborative informatique et danse

Analyse du domaine

Modèle d’architecture conceptuelle

Styles et motifs architecturaux

Validation du

modèle

Requis eMotion Cas applicatif

Page 59: Alexis Clay 7 décembre 2009

59

CONCLUSION

Page 60: Alexis Clay 7 décembre 2009

60

Contributions conceptuelles

Conception d’un modèle unificateur d’architecture conceptuelle pour la reconnaissance d’émotions dans les systèmes interactifs

Extensibilité, modifiabilité, réusabilitéIntégration dans l’IHMIntégration de systèmes et travaux existants

Immersion du modèle dans les concepts de la multimodalitéRedéfinition d’une modalitéApplication des concepts existants en IHM:

Pouvoir génératif des propriétés CARESpécifications pour les composants du modèle

Page 61: Alexis Clay 7 décembre 2009

61

Contributions pratiques

Conception d’un canevas logiciel interactif modifiable et extensible: eMotionExtensibilité, modifiabilité, réusabilité

Application au ballet augmenté: recherche collaborative informatique et danse

Page 62: Alexis Clay 7 décembre 2009

62

Extensions pratiques

Implémentation du moteur de synchronisation

Intégration d’un système tiers et d’une concentration des interprétations

Page 63: Alexis Clay 7 décembre 2009

63

Bouclage entre interprétation et analyse

Outil d’assemblage de composants

Prolongements : contributions conceptuelles

et pratiques

InterprétationAnalyseCapture

Page 64: Alexis Clay 7 décembre 2009

64

Prolongements : cadre applicatif

Approfondissement du lien avec la danse

Autre domaines applicatifs pour la reconnaissance d’émotions par le mouvement ( ex: informatique ambiante)

Page 65: Alexis Clay 7 décembre 2009

65

Page 66: Alexis Clay 7 décembre 2009

66

• « Une solution serait de prendre une liste des n meilleurs candidats en sortie »

Question 1: mélanges d’émotions

Page 67: Alexis Clay 7 décembre 2009

67

• + long rend caduque la synchronisation micro-temporelle seulement

Question 2: humeur ou affect

Page 68: Alexis Clay 7 décembre 2009

68

• Et pkoi ICARE et pas EyesWeb?

EyesWeb

Page 69: Alexis Clay 7 décembre 2009

69

Espaces de multimodalité

Page 70: Alexis Clay 7 décembre 2009

70

Exemple de système non intégrable dans l’architecture?

Page 71: Alexis Clay 7 décembre 2009

71

Pourquoi PAC dans eMotion?