Conception et évaluation de nouvelles techniques d’interaction gestuelle pour la télévision...

Conception et évaluation de nouvelles

techniques d’interaction gestuelle pour la

télévision interactive

Dong-Bach Vo - 24 Septembre 2013

Thèse encadrée par Eric Lecolinet et Yves Guiard

1

Qu’est-ce que la télévision interactive ?

2

2

Qu’est-ce que la télévision interactive ?

3

3

Qu’est-ce que la télévision interactive ?

4

4

La télécommande du futur ?

5

5

Des menus complexes

6

6

Approche

• Surface des télécommandes limité

• Services interactifs de plus en plus nombreux

• Eviter d’accaparer l’attention visuelle des téléspectateurs

7

7

Approche

• Surface des télécommandes limité

• Services interactifs de plus en plus nombreux

• Eviter d’accaparer l’attention visuelle des téléspectateurs

• Augmenter la bande passante interactionnelle

• Utiliser l’espace 3D disponible autour de la télécommande?

• Utiliser la surface du corps?

8

8

Plan de la présentation

1. Espace de classification des télécommandes

2. Espace de classification du geste de la main

3. Interaction gestuelle avec télécommande

4. Interaction gestuelle sur le corps

5. Conclusion et perspectives

9

9

Plan de la présentation

1. Espace de classification des télécommandes

2. Espace de classification du geste de la main

3. Interaction gestuelle avec télécommande

4. Interaction gestuelle sur le corps

5. Conclusion et perspectives

10

10

1. Espace de caractérisation de la télécommande

• De nombreux travaux ont tenté d’améliorer la télécommande

11

11

1. 1. Type des télécommandes

12

Dédiée

Non

Dédiée

12

1. 1. Type des télécommandes

13

Dédiée

Non

Dédiée

Traditionnelle

Augmentée

Tangible

Dématérialisée

13

1. 1. Type des télécommandes

14

Dédiée

Non

Dédiée

Traditionnelle

Augmentée

Tangible

Dématérialisée GesText [Jones et al., 2010]

14

1. 1. Type des télécommandes

15

Dédiée

Non

Dédiée

Traditionnelle

Augmentée

Tangible

Dématérialisée

[Kimman et al., 2011]

[Block et al., 2004]

15

1. 1. Type des télécommandes

16

Dédiée

Non

Dédiée

Traditionnelle

Augmentée

Tangible

Dématérialisée[Bailly et al., 2011]

[Goto et al., 2003]

16

1. 1. Type des télécommandes

17

Dédiée

Non

Dédiée

Traditionnelle

Augmentée

Tangible

Dématérialisée

Compagnon

Objet du quotidien

17

1. 1. Type des télécommandes

18

Dédiée

Non

Dédiée

Traditionnelle

Augmentée

Tangible

Dématérialisée

Compagnon

Objet du quotidien

[Berglund et al., 2005]18

1. 1. Type des télécommandes

19

Dédiée

Non

Dédiée

Traditionnelle

Augmentée

Tangible

Dématérialisée

Compagnon

Objet du quotidien

Gestes

19

Plan de la présentation

1. Espace de classification des télécommandes

2. Espace de classification du geste de la main

3. Interaction gestuelle avec télécommande

4. Interaction gestuelle sur le corps

5. Conclusion et perspectives

20

?

20

2. Espace de classification du geste

21

Type d’interaction

Fonction

Anatomie

Combinaison

Contexte

21

2. Espace de classification du geste

22

Type d’interaction Surface

Geste en l’air

Non instrumenté Instrumenté

22

2. Espace de classification du geste

23

Type d’interaction Surface

Geste en l’air

Non instrumenté Instrumenté

23

2. Espace de classification du geste

24

Type d’interaction

Fonction

Anatomie

Combinaison

Contexte

Epistémique

Ergotique

Sémiotique[Casiez et al., 2011]

24

2. Espace de classification du geste

25

Type d’interaction

Fonction

Anatomie

Combinaison

Contexte

Epistémique

Ergotique

Sémiotique

[Baglioni et al., 2011]

25

2. Espace de classification du geste

26

Type d’interaction

Fonction

Anatomie

Combinaison

Contexte

Epistémique

Ergotique

Sémiotique

[Bailly et al., 2011]

[Wilson et Shafer, 2003]26

2. Espace de classification du geste

27

Type d’interaction

Fonction

Anatomie

Combinaison

Contexte

Délimiteur

Trajectoire / Forme

Orientation

Accélération

Vitesse

27

2. Espace de classification du geste

28

Type d’interaction

Fonction

Anatomie

Combinaison

Contexte

[Ruiz and Li, CHI’2011]

Séquentielle

Parallèle

28

2. Espace de classification du geste

29

Type d’interaction

Fonction

Anatomie

Combinaison

Contexte

Perceptif

Social

Mécanique

29

Plan de la présentation

1. Espace de classification des télécommandes

2. Espace de classification du geste de la main

3. Interaction gestuelle avec télécommande

4. Interaction gestuelle sur le corps

5. Conclusion et perspectives

30

30

3. Interaction gestuelle avec télécommande

31

?

31

32

Tangage

Lacet

Roulis

Z

X

Y

3.1. Six degrés de liberté

32

• 1 degré de rotation

• Motion Marking Menus [Oakley et al., 2003]

33

Lacet

X

3.2. Quels degrés de liberté ?

33

3.2. Quels degrés de liberté ?

• 1 degré de liberté

• Motion Marking Menus [Oakley et al., 2003]

• 2 degrés de libertés

• TiltText [Wigdor, 2003]

• GesText [Jones et al., 2010]

34

GesText

Z

XTiltText

Roulis

Tangage

34

• Quels gestes les utilisateurs réalisent spontanément pour atteindre une cible sur un écran ?

35

3.2. Quels degrés de liberté ?

35

36

0123456789

Smartphone Télécommande

Nom

bre de

partic

ipan

ts

Tangage & Roulis

Tangage & Lacet

Translation selon l’axe X & Y

3.2. Quels degrés de liberté ?

36

37

0123456789

Smartphone Télécommande

Nom

bre de

partic

ipan

ts

Tangage & Roulis

Tangage & Lacet

Translation selon l’axe X & Y

3.2. Quels degrés de liberté ?

Tangage

Roulis

Z

X

37

38

0123456789

Smartphone Télécommande

Nom

bre de

partic

ipan

ts

Tangage & Roulis

Tangage & Lacet

Translation selon l’axe X & Y

Tangage

Lacet

X

Y

3.2. Quels degrés de liberté ?

Tangage

Roulis

Z

X

38

• Optimiser l’espace 3D ?

39

Tangage

Lacet

X

Y

3.2. Quels degrés de liberté ?

39

• Optimiser l’espace 3D ?

40

3.2. Quels degrés de liberté ?

Roulis

Z

Tangage

Lacet

X

Y

40

3.3. Exploration de la dimension de roulis

• Discrétisation de l’amplitude absolue de mouvement du poignet avec retour visuel [Rahman et al. ’09]

41

Roulis

Z

16 niveaux

41

• Combien d’éléments peuvent contrôler les utilisateurs sans retour visuel et sans regarder la télécommande ?

• But : collecter des mesures d’amplitudes angulaires

42

? Gauche Droite

3.3. Exploration de la dimension de roulis

42

• Combien d’éléments peuvent contrôler les utilisateurs sans retour visuel et sans regarder la télécommande ?

43

3.3. Exploration de la dimension de roulis

Gauche Milieu Droite11

9

7

5

Facteur : nombre d’éléments à discriminer

43

• Résultats

• L’amplitude angulaire totale utilisée dépend des participants

162° 326°

44

3.3. Exploration de la dimension de roulis

7 éléments

Minimum Maximum

44

• Résultats

• L’amplitude angulaire totale utilisée dépend des participants

• L’amplitude angulaire totale dépend du nombre d’éléments à discriminer

45

3.3. Exploration de la dimension de roulis

053

106159212265318371

5 élts 7 élts 9 élts 11 élts

371343

306

159

Amplitude angulaire moyenne en degrés

45

• Reconnaissance des éléments

• Algorithme des k-PPV

0

25

50

75

100

5 élts 7 élts 9 élts 11 élts

63,1

77,1

87,796,3

Taux

de pr

écisi

on (e

n %)

Taux de précision moyen

46

3.3. Exploration de la dimension de roulis

46

• Reconnaissance des éléments

• Algorithme des k-PPV

• Taux très satisfaisant pour 5 élem.

0

25

50

75

100

5 élts 7 élts 9 élts 11 élts

63,1

77,1

87,796,3

Taux

de pr

écisi

on (e

n %)

Taux de précision moyen

47

3.3. Exploration de la dimension de roulis

47

• Reconnaissance des éléments

• Algorithme des k-PPV

• Taux très satisfaisant pour 5 élem.

• Taux insuffisant pour 9 & 11 élem.

0

25

50

75

100

5 élts 7 élts 9 élts 11 élts

63,1

77,1

87,796,3

Taux

de pr

écisi

on (e

n %)

Taux de précision moyen

48

3.3. Exploration de la dimension de roulis

48

• Reconnaissance des éléments

• Algorithme des k-PPV

• Taux très satisfaisant pour 5 élem.

• Taux insuffisant pour 9 & 11 élem.

• 7 éléments à approfondir

0

25

50

75

100

5 élts 7 élts 9 élts 11 élts

63,1

77,1

87,796,3

Taux

de pr

écisi

on (e

n %)

Taux de précision moyen

49

3.3. Exploration de la dimension de roulis

49

• Reconnaissance des éléments

• Algorithme des k-PPV

• Taux très satisfaisant pour 5 élem.

• Taux insuffisant pour 9 & 11 élem.

• Taux satisfaisant pour 7 élém. avec reco. intra-utilisateur

0

20

40

60

80

100

7 élem. inter-u 7 élem intra-u

9687,7

Taux

de pr

écisi

on (e

n %)

Taux de précision moyen

50

3.3. Exploration de la dimension de roulis

50

3.3. Menu hiérarchique gestuel à deux niveaux

• Accès aux commandes

• Accès à un nombre de commandes suffisant

• Mode novice et mode expert

51

51

3.4. Conception de nouvelles techniques

52

2nd Niveau

1er Niveau

52

53

2nd Niveau

1er Niveau

Nombre d’actions

trop important

Difficile à réaliser

mécaniquementRésultats décevants

Nombre d’actions

trop important

3.4. Conception de nouvelles techniques

53

54

2nd Niveau

1er Niveau

Nombre d’actions

trop important

Difficile à réaliser

mécaniquementRésultats décevants

Nombre d’actions

trop important

3.4. Conception de nouvelles techniques

54

• Réaliser le couple de gestes qui correspond au stimulus

55

3.4. Conception de nouvelles techniques

55

56

0

20,0

40,0

60,0

80,0

100,0

86,889,594,2

98,497,4

Taux moyen de précision par techniqueTa

ux en %

3.4. Conception de nouvelles techniques

56

57

0

20,0

40,0

60,0

80,0

100,0

86,889,594,2

98,497,4

Taux moyen de précision par techniqueTa

ux en %

3.4. Conception de nouvelles techniques

57

• Résultats

58

0

525

1050

1575

21002020

16801653

13881401

Temps de sélection moyen par techniqueTe

mps

en m

s

3.4. Conception de nouvelles techniques

58

• Résultats

59

0

1

2

3

4

5

6

7

Rapide

Préc

is

Agréab

le

Fatig

ante

Simple

Dive

rtissan

te

Préférences subjectives

Pad /Pad Pad/P&Y Pad/Roll P&Y/P&Y P&Y / Roll

3.4. Conception de nouvelles techniques

59

• Résultats

60

0

1

2

3

4

5

6

7

Rapide

Préc

is

Agréab

le

Fatig

ante

Simple

Dive

rtissan

te

Préférences subjectives

Pad /Pad Pad/P&Y Pad/Roll P&Y/P&Y P&Y / Roll

3.4. Conception de nouvelles techniques

60

• Résultats

61

0

1

2

3

4

5

6

7

Rapide

Préc

is

Agréab

le

Fatig

ante

Simple

Dive

rtissan

te

Préférences subjectives

Pad /Pad Pad/P&Y Pad/Roll P&Y/P&Y P&Y / Roll

3.4. Conception de nouvelles techniques

61

3. Rappel des résultats

• Expérience 1

• Rotations avec un dispositif dans la main

• Télécommande : le tangage et le lacet pour interagir avec un écran distant

• Roulis : 7 éléments sans regarder l’écran et la télécommande

• Expérience 2

• Combinaison boutons directionnels et geste 3D performante

62

62

Plan de la présentation

1. Espace de classification des télécommandes

2. Espace de classification du geste de la main

3. Interaction gestuelle avec télécommande

4. Interaction gestuelle sur le corps

5. Conclusion et perspectives

63

63

4. Interaction gestuelle sur le corps

64

64

4.1. Travaux antérieurs

• Essentiellement bras et mains

65

[Harrison et al., 2011] [Lin et al., 2011] [Gustafson et al., 2011]

[Holz et al., 2012]

65

• Essentiellement bras et mains

• Problèmes

• Parties du corps mobiles

• Souvent impliquées dans une tâche

66

4.1. Travaux antérieurs

66

• Essentiellement bras et mains

• Problèmes

• Parties du corps mobiles

• Souvent impliquées dans une tâche

67

«Un endroit approprié pour l’informatique portée devrait être un endroit dont le mouvement et la flexibilité est

minime et qui maximise la surface d’interaction.»

[Gemperle et al., ISWC’98]

4.1. Travaux antérieurs

67

68

«Le sternum pourrait être un endroit approprié pour contrôler du textile intelligent pendant des activités sportives...»

[Karrer et al., CHI’11]

4.1. Travaux antérieurs

68

69

«Les cibles sur la partie supérieure du corps étaient préférées [...] et celles sur le torse plus que sur le bras dominant...»

[Wagner et al., CHI’13]

«Le sternum pourrait être un endroit approprié pour contrôler du textile intelligent pendant des activités sportives...»

[Karrer et al., CHI’11]

4.1. Travaux antérieurs

69

• Proprioception

• Relativement large

• Relativement stable

• Facilement accessible

• Repère physique

• Intime

4.2. Avantages de la surface de l’abdomen

70

Thorax

Abdomen

Tronc

70

Interaction avec l’abdomen ?

• Comment interagir avec l’abdomen lorsqu’on regarde la télévision ?

71

71

• La perception spatiale sur la peau [Parson et al., 1987]:

• Orientation et la position de la surface

• Représentation interne de la gravité

• Informations collectées par la surface

• Pas de référentiel privilégié pour les parties verticales sous le thorax

72

4.3. Interaction sur l’abdomen

72

• Dessiner le chiffre «deux» sur votre abdomen

73

4.3. Interaction sur l’abdomen

73

• Dessiner le chiffre «deux» sur votre abdomen

74

4.3. Interaction sur l’abdomen

74

4.3. Expérimentation : Principe

• Faire dessiner sur l’abdomen le stimulus affiché sur un écran distant

75

75

• Lignes directionnelles

• Chiffres

4.3. Expérimentation : Facteurs

76

76

• Présentation graphique

• Présentation textuelle

77

4.3. Expérimentation : Facteurs

Facteurs Graphique Textuel

Simple «Droite»

Complexe «Deux»

77

• Stimuli de l’expérimentation

78

Haut HautDroite

Droite BasDroite

Bas Bas Gauche

Gauche HautGauche

Un Deux Trois Quatre Cinq Six Sept Huit Neuf Zéro

Gra

phiq

ueG

raph

ique

Text

uel

Text

uel

Matériel Directionnel

Matériel Numéral

4.3. Expérimentation : Facteurs

78

4.4. Etude 1 : Catégorisation de la représentation

79

Inversion gauche-droite

Inve

rsion ha

ut-b

as

79

• Inversion haut-bas quasi-constante

80

0 %

10 %

20 %

30 %

40 %

50 %

Graphique Textuel

4.4. Etude 1 : Catégorisation de la représentation

Haut-Bas Gauche-DroiteInversion

Reproduction des chiffres

Inv. gauche-droite

Inv. hau

t-bas

80

• Inversion haut-bas quasi-constante

• condition textuelle: inversions gauche-droite

81

0 %

10 %

20 %

30 %

40 %

50 %

Graphique Textuel

4.4. Etude 1 : Catégorisation de la représentation

Haut-Bas Gauche-DroiteInversion

Reproduction des chiffres

Inv. gauche-droite

Inv. hau

t-bas

81

82

0 %

10 %

20 %

30 %

40 %

50 %

Graphique Textuel

4.4. Etude 1 : Catégorisation de la représentation

Haut-Bas Gauche-DroiteInversion

«It might strongly be possible that I write on my belly as if I was looking at it.»

«I performed the gesture if I was in front of a mirror without thinking too much.»

Reproduction des chiffres

82

• Peu d’inversions haut-bas

83

4.4. Etude 1 : Catégorisation de la représentation

0 %

10 %

20 %

30 %

40 %

50 %

Graphique Textuel

Haut-Bas Gauche-Droite

Reproduction des directions

Inversion

Inv. gauche-droite

Inv. hau

t-bas

83

• Peu d’inversions haut-bas

• Pratiquement pas d’inversions gauche-droite

84

4.4. Etude 1 : Catégorisation de la représentation

0 %

10 %

20 %

30 %

40 %

50 %

Graphique Textuel

Haut-Bas Gauche-Droite

Reproduction des directions

Inversion

Inv. gauche-droite

Inv. hau

t-bas

84

• Peu d’inversions haut-bas

• Pratiquement pas d’inversions gauche-droite

• Représentation stable

85

4.4. Etude 1 : Catégorisation de la représentation

0 %

10 %

20 %

30 %

40 %

50 %

Graphique Textuel

Haut-Bas Gauche-Droite

Reproduction des directions

Inversion

Inv. gauche-droite

Inv. hau

t-bas

85

• Préférences subjectives

86

1

2

3

4

5

Facile

Rapide

Préc

is

Agréab

leFa

tigan

t

Direction Chiffre

4.4. Etude 1 : Catégorisation de la représentation

86

• Préférences subjectives

87

1

2

3

4

5

Facile

Rapide

Préc

is

Agréab

leFa

tigan

t

Direction Chiffre

4.4. Etude 1 : Catégorisation de la représentation

87

• Préférences subjectives

88

1

2

3

4

5

Facile

Rapide

Préc

is

Agréab

leFa

tigan

t

Direction Chiffre

4.4. Etude 1 : Catégorisation de la représentation

88

• Caractérisation des gestes linéaires

• Temps d’exécution

• Amplitude

• Linéarité

• Biais directionnel

89

4.4. Etude 2 : Catégorisation des gestes directionnels

89

• Caractérisation des gestes linéaires

• De 1 à 1.2 seconde en moyenne

• De 15 à 20 cm environ en moyenne

90

4.4. Etude 2 : Catégorisation des gestes directionnels

90

• Linéarité

• Tracés presque linéaires

• Ouest plus linéaires

91

0,91

0,93

0,95

0,97

0,99

EST

N-E

NORD N-O

OUES

TS-O

SUD S-E

Liné

arité

(max

r²)

4.4. Etude 2 : Catégorisation des gestes directionnels

N

O E

S

91

!

"#

$!

%&#

%'!

((#

()!

&%#

*+,-,./-01*+,-,./-0,./-012*,-2*,-3.4-012*,-3.4-03.4-01*+,-

Angle moyen des gestes en degrés

• Biais directionnel

• EST difficile à atteindre

• Extension du bras plus facile à réaliser

92

4.4. Etude 2 : Catégorisation des gestes directionnels

N

O E

S

92

Rappel des résultats

• Représentation spatiale instable pour les chiffres

• Représentation spatiale stable pour les gestes directionnels

• Les gestes qui permettent d’étendre le bras sont plus faciles à réaliser

• Les gestes sur l’abdomen sont pratiques pour

• Les actions qui requièrent un minimum de temps

• Effectuer des actions sans accaparer l’attention visuelle

93

93

Plan de la présentation

1. Espace de classification des télécommandes

2. Espace de classification du geste

3. Interaction gestuelle avec télécommande

4. Interaction gestuelle sur le corps

5. Conclusion et perspectives

94

94

5. Conclusion et perspectives

• Contributions

• Espace de caractérisation de la télécommande (IHM 2011)

• Espace de caractérisation du geste

• Techniques d’interaction pour télécommande augmentée (ICMI 2011)

• Identification des degrés de liberté utilisées

• Combinaison boutons-gestes 3D performante

95

95

5. Conclusion et perspectives

• Contributions

• Techniques d’interaction sur l’abdomen (soumis à CHI 2014)

• Représentation spatiale différente selon les utilisateurs

• Instable pour les chiffres

• Stable pour les directions

• Directions plus performantes avec des mouvements d’extension du bras

96

2?

96

5. Conclusion et perspectives

• Perspectives

• Amélioration des techniques d’interaction avec un meilleur algorithme

97

97

• Interaction sur l’abdomen : mobilité

• Micro-interaction [Ashbrook,2010]

• Interaction qui demande peu d’attention [Hudson et al, 2010]

98

5. Conclusion et perspectives

98

5. Conclusion et perspectives

• Méthodes d’évaluation ?

99

0

20,0

40,0

60,0

80,0

100,098,497,4

Taux

de pr

écisi

on en %

0

352,5

705

1057,5

141013881401

Tem

ps de sé

lection en

ms

99

• Méthodes d’évaluation ?

100

0

1

2

3

4

5

6

7Ra

pide

Préc

is

Agréab

le

Fatig

ante

Simple

Dive

rtissan

te

Préférences subjectives

Pad /Pad Pad/P&Y

5. Conclusion et perspectives

100

Questions ?

101

?

101