Conception et évaluation de nouvelles techniques d’interaction gestuelle pour la télévision interactive

Conception et évaluation de nouvelles

techniques d’interaction gestuelle pour la

télévision interactive

Dong-Bach Vo - 24 Septembre 2013

Thèse encadrée par Eric Lecolinet et Yves Guiard

1

Qu’est-ce que la télévision interactive ?

2

2


3

3


4

4

La télécommande du futur ?

5

5

Des menus complexes

6

6

Approche

• Surface des télécommandes limité

• Services interactifs de plus en plus nombreux

• Eviter d’accaparer l’attention visuelle des téléspectateurs

7

7

Approche

• Surface des télécommandes limité

• Services interactifs de plus en plus nombreux

• Eviter d’accaparer l’attention visuelle des téléspectateurs

• Augmenter la bande passante interactionnelle

• Utiliser l’espace 3D disponible autour de la télécommande?

• Utiliser la surface du corps?

8

8

Plan de la présentation

1. Espace de classification des télécommandes

2. Espace de classification du geste de la main

3. Interaction gestuelle avec télécommande

4. Interaction gestuelle sur le corps

5. Conclusion et perspectives

9

9







10

10

1. Espace de caractérisation de la télécommande

• De nombreux travaux ont tenté d’améliorer la télécommande

11

11

1. 1. Type des télécommandes

12

Dédiée

Non

Dédiée

12


13

Dédiée

Non

Dédiée

Traditionnelle

Augmentée

Tangible

Dématérialisée

13


14

Dédiée

Non

Dédiée

Traditionnelle

Augmentée

Tangible

Dématérialisée GesText [Jones et al., 2010]

14


15

Dédiée

Non

Dédiée

Traditionnelle

Augmentée

Tangible

Dématérialisée

[Kimman et al., 2011]

[Block et al., 2004]

15


16

Dédiée

Non

Dédiée

Traditionnelle

Augmentée

Tangible

Dématérialisée[Bailly et al., 2011]

[Goto et al., 2003]

16


17

Dédiée

Non

Dédiée

Traditionnelle

Augmentée

Tangible

Dématérialisée

Compagnon

Objet du quotidien

17


18

Dédiée

Non

Dédiée

Traditionnelle

Augmentée

Tangible

Dématérialisée

Compagnon

Objet du quotidien

[Berglund et al., 2005]18


19

Dédiée

Non

Dédiée

Traditionnelle

Augmentée

Tangible

Dématérialisée

Compagnon

Objet du quotidien

Gestes

19







20

?

20

2. Espace de classification du geste

21

Type d’interaction

Fonction

Anatomie

Combinaison

Contexte

21


22

Type d’interaction Surface

Geste en l’air

Non instrumenté Instrumenté

22


23

Type d’interaction Surface

Geste en l’air

Non instrumenté Instrumenté

23


24


Fonction

Anatomie

Combinaison

Contexte

Epistémique

Ergotique

Sémiotique[Casiez et al., 2011]

24


25


Fonction

Anatomie

Combinaison

Contexte

Epistémique

Ergotique

Sémiotique

[Baglioni et al., 2011]

25


26


Fonction

Anatomie

Combinaison

Contexte

Epistémique

Ergotique

Sémiotique

[Bailly et al., 2011]

[Wilson et Shafer, 2003]26


27


Fonction

Anatomie

Combinaison

Contexte

Délimiteur

Trajectoire / Forme

Orientation

Accélération

Vitesse

27


28


Fonction

Anatomie

Combinaison

Contexte

[Ruiz and Li, CHI’2011]

Séquentielle

Parallèle

28


29


Fonction

Anatomie

Combinaison

Contexte

Perceptif

Social

Mécanique

29







30

30


31

?

31

32

Tangage

Lacet

Roulis

Z

X

Y

3.1. Six degrés de liberté

32

• 1 degré de rotation

• Motion Marking Menus [Oakley et al., 2003]

33

Lacet

X

3.2. Quels degrés de liberté ?

33


• 1 degré de liberté

• Motion Marking Menus [Oakley et al., 2003]

• 2 degrés de libertés

• TiltText [Wigdor, 2003]

• GesText [Jones et al., 2010]

34

GesText

Z

XTiltText

Roulis

Tangage

34

• Quels gestes les utilisateurs réalisent spontanément pour atteindre une cible sur un écran ?

35


35

36

0123456789

Smartphone Télécommande

Nom

bre de

partic

ipan

ts

Tangage & Roulis

Tangage & Lacet

Translation selon l’axe X & Y


36

37

0123456789


Nom

bre de

partic

ipan

ts

Tangage & Roulis

Tangage & Lacet



Tangage

Roulis

Z

X

37

38

0123456789


Nom

bre de

partic

ipan

ts

Tangage & Roulis

Tangage & Lacet


Tangage

Lacet

X

Y


Tangage

Roulis

Z

X

38

• Optimiser l’espace 3D ?

39

Tangage

Lacet

X

Y


39

• Optimiser l’espace 3D ?

40


Roulis

Z

Tangage

Lacet

X

Y

40

3.3. Exploration de la dimension de roulis

• Discrétisation de l’amplitude absolue de mouvement du poignet avec retour visuel [Rahman et al. ’09]

41

Roulis

Z

16 niveaux

41

• Combien d’éléments peuvent contrôler les utilisateurs sans retour visuel et sans regarder la télécommande ?

• But : collecter des mesures d’amplitudes angulaires

42

? Gauche Droite


42

• Combien d’éléments peuvent contrôler les utilisateurs sans retour visuel et sans regarder la télécommande ?

43


Gauche Milieu Droite11

9

7

5

Facteur : nombre d’éléments à discriminer

43

• Résultats

• L’amplitude angulaire totale utilisée dépend des participants

162° 326°

44


7 éléments

Minimum Maximum

44

• Résultats

• L’amplitude angulaire totale utilisée dépend des participants

• L’amplitude angulaire totale dépend du nombre d’éléments à discriminer

45


053

106159212265318371

5 élts 7 élts 9 élts 11 élts

371343

306

159

Amplitude angulaire moyenne en degrés

45

• Reconnaissance des éléments

• Algorithme des k-PPV

0

25

50

75

100


63,1

77,1

87,796,3

Taux

de pr

écisi

on (e

n %)

Taux de précision moyen

46


46



• Taux très satisfaisant pour 5 élem.

0

25

50

75

100


63,1

77,1

87,796,3

Taux

de pr

écisi

on (e

n %)


47


47




• Taux insuffisant pour 9 & 11 élem.

0

25

50

75

100


63,1

77,1

87,796,3

Taux

de pr

écisi

on (e

n %)


48


48





• 7 éléments à approfondir

0

25

50

75

100


63,1

77,1

87,796,3

Taux

de pr

écisi

on (e

n %)


49


49





• Taux satisfaisant pour 7 élém. avec reco. intra-utilisateur

0

20

40

60

80

100

7 élem. inter-u 7 élem intra-u

9687,7

Taux

de pr

écisi

on (e

n %)


50


50

3.3. Menu hiérarchique gestuel à deux niveaux

• Accès aux commandes

• Accès à un nombre de commandes suffisant

• Mode novice et mode expert

51

51

3.4. Conception de nouvelles techniques

52

2nd Niveau

1er Niveau

52

53

2nd Niveau

1er Niveau

Nombre d’actions

trop important

Difficile à réaliser

mécaniquementRésultats décevants

Nombre d’actions

trop important


53

54

2nd Niveau

1er Niveau

Nombre d’actions

trop important

Difficile à réaliser

mécaniquementRésultats décevants

Nombre d’actions

trop important


54

• Réaliser le couple de gestes qui correspond au stimulus

55


55

56

0

20,0

40,0

60,0

80,0

100,0

86,889,594,2

98,497,4

Taux moyen de précision par techniqueTa

ux en %


56

57

0

20,0

40,0

60,0

80,0

100,0

86,889,594,2

98,497,4

Taux moyen de précision par techniqueTa

ux en %


57

• Résultats

58

0

525

1050

1575

21002020

16801653

13881401

Temps de sélection moyen par techniqueTe

mps

en m

s


58

• Résultats

59

0

1

2

3

4

5

6

7

Rapide

Préc

is

Agréab

le

Fatig

ante

Simple

Dive

rtissan

te

Préférences subjectives

Pad /Pad Pad/P&Y Pad/Roll P&Y/P&Y P&Y / Roll


59

• Résultats

60

0

1

2

3

4

5

6

7

Rapide

Préc

is

Agréab

le

Fatig

ante

Simple

Dive

rtissan

te




60

• Résultats

61

0

1

2

3

4

5

6

7

Rapide

Préc

is

Agréab

le

Fatig

ante

Simple

Dive

rtissan

te




61

3. Rappel des résultats

• Expérience 1

• Rotations avec un dispositif dans la main

• Télécommande : le tangage et le lacet pour interagir avec un écran distant

• Roulis : 7 éléments sans regarder l’écran et la télécommande

• Expérience 2

• Combinaison boutons directionnels et geste 3D performante

62

62







63

63


64

64

4.1. Travaux antérieurs

• Essentiellement bras et mains

65

[Harrison et al., 2011] [Lin et al., 2011] [Gustafson et al., 2011]

[Holz et al., 2012]

65


• Problèmes

• Parties du corps mobiles

• Souvent impliquées dans une tâche

66


66


• Problèmes

• Parties du corps mobiles

• Souvent impliquées dans une tâche

67

«Un endroit approprié pour l’informatique portée devrait être un endroit dont le mouvement et la flexibilité est

minime et qui maximise la surface d’interaction.»

[Gemperle et al., ISWC’98]


67

68

«Le sternum pourrait être un endroit approprié pour contrôler du textile intelligent pendant des activités sportives...»

[Karrer et al., CHI’11]


68

69

«Les cibles sur la partie supérieure du corps étaient préférées [...] et celles sur le torse plus que sur le bras dominant...»

[Wagner et al., CHI’13]

«Le sternum pourrait être un endroit approprié pour contrôler du textile intelligent pendant des activités sportives...»

[Karrer et al., CHI’11]


69

• Proprioception

• Relativement large

• Relativement stable

• Facilement accessible

• Repère physique

• Intime

4.2. Avantages de la surface de l’abdomen

70

Thorax

Abdomen

Tronc

70

Interaction avec l’abdomen ?

• Comment interagir avec l’abdomen lorsqu’on regarde la télévision ?

71

71

• La perception spatiale sur la peau [Parson et al., 1987]:

• Orientation et la position de la surface

• Représentation interne de la gravité

• Informations collectées par la surface

• Pas de référentiel privilégié pour les parties verticales sous le thorax

72

4.3. Interaction sur l’abdomen

72

• Dessiner le chiffre «deux» sur votre abdomen

73


73

• Dessiner le chiffre «deux» sur votre abdomen

74


74

4.3. Expérimentation : Principe

• Faire dessiner sur l’abdomen le stimulus affiché sur un écran distant

75

75

• Lignes directionnelles

• Chiffres

4.3. Expérimentation : Facteurs

76

76

• Présentation graphique

• Présentation textuelle

77


Facteurs Graphique Textuel

Simple «Droite»

Complexe «Deux»

77

• Stimuli de l’expérimentation

78

Haut HautDroite

Droite BasDroite

Bas Bas Gauche

Gauche HautGauche

Un Deux Trois Quatre Cinq Six Sept Huit Neuf Zéro

Gra

phiq

ueG

raph

ique

Text

uel

Text

uel

Matériel Directionnel

Matériel Numéral


78

4.4. Etude 1 : Catégorisation de la représentation

79

Inversion gauche-droite

Inve

rsion ha

ut-b

as

79

• Inversion haut-bas quasi-constante

80

0 %

10 %

20 %

30 %

40 %

50 %

Graphique Textuel


Haut-Bas Gauche-DroiteInversion

Reproduction des chiffres

Inv. gauche-droite

Inv. hau

t-bas

80

• Inversion haut-bas quasi-constante

• condition textuelle: inversions gauche-droite

81

0 %

10 %

20 %

30 %

40 %

50 %

Graphique Textuel




Inv. gauche-droite

Inv. hau

t-bas

81

82

0 %

10 %

20 %

30 %

40 %

50 %

Graphique Textuel



«It might strongly be possible that I write on my belly as if I was looking at it.»

«I performed the gesture if I was in front of a mirror without thinking too much.»


82

• Peu d’inversions haut-bas

83


0 %

10 %

20 %

30 %

40 %

50 %

Graphique Textuel

Haut-Bas Gauche-Droite

Reproduction des directions

Inversion

Inv. gauche-droite

Inv. hau

t-bas

83


• Pratiquement pas d’inversions gauche-droite

84


0 %

10 %

20 %

30 %

40 %

50 %

Graphique Textuel



Inversion

Inv. gauche-droite

Inv. hau

t-bas

84


• Pratiquement pas d’inversions gauche-droite

• Représentation stable

85


0 %

10 %

20 %

30 %

40 %

50 %

Graphique Textuel



Inversion

Inv. gauche-droite

Inv. hau

t-bas

85

• Préférences subjectives

86

1

2

3

4

5

Facile

Rapide

Préc

is

Agréab

leFa

tigan

t

Direction Chiffre


86


87

1

2

3

4

5

Facile

Rapide

Préc

is

Agréab

leFa

tigan

t

Direction Chiffre


87


88

1

2

3

4

5

Facile

Rapide

Préc

is

Agréab

leFa

tigan

t

Direction Chiffre


88

• Caractérisation des gestes linéaires

• Temps d’exécution

• Amplitude

• Linéarité

• Biais directionnel

89

4.4. Etude 2 : Catégorisation des gestes directionnels

89

• Caractérisation des gestes linéaires

• De 1 à 1.2 seconde en moyenne

• De 15 à 20 cm environ en moyenne

90


90

• Linéarité

• Tracés presque linéaires

• Ouest plus linéaires

91

0,91

0,93

0,95

0,97

0,99

EST

N-E

NORD N-O

OUES

TS-O

SUD S-E

Liné

arité

(max

r²)


N

O E

S

91

!

"#

$!

%&#

%'!

((#

()!

&%#

*+,-,./-01*+,-,./-0,./-012*,-2*,-3.4-012*,-3.4-03.4-01*+,-

Angle moyen des gestes en degrés

• Biais directionnel

• EST difficile à atteindre

• Extension du bras plus facile à réaliser

92


N

O E

S

92

Rappel des résultats

• Représentation spatiale instable pour les chiffres

• Représentation spatiale stable pour les gestes directionnels

• Les gestes qui permettent d’étendre le bras sont plus faciles à réaliser

• Les gestes sur l’abdomen sont pratiques pour

• Les actions qui requièrent un minimum de temps

• Effectuer des actions sans accaparer l’attention visuelle

93

93







94

94


• Contributions

• Espace de caractérisation de la télécommande (IHM 2011)

• Espace de caractérisation du geste

• Techniques d’interaction pour télécommande augmentée (ICMI 2011)

• Identification des degrés de liberté utilisées

• Combinaison boutons-gestes 3D performante

95

95


• Contributions

• Techniques d’interaction sur l’abdomen (soumis à CHI 2014)

• Représentation spatiale différente selon les utilisateurs

• Instable pour les chiffres

• Stable pour les directions

• Directions plus performantes avec des mouvements d’extension du bras

96

2?

96


• Perspectives

• Amélioration des techniques d’interaction avec un meilleur algorithme

97

97

• Interaction sur l’abdomen : mobilité

• Micro-interaction [Ashbrook,2010]

• Interaction qui demande peu d’attention [Hudson et al, 2010]

98


98


• Méthodes d’évaluation ?

99

0

20,0

40,0

60,0

80,0

100,098,497,4

Taux

de pr

écisi

on en %

0

352,5

705

1057,5

141013881401

Tem

ps de sé

lection en

ms

99

• Méthodes d’évaluation ?

100

0

1

2

3

4

5

6

7Ra

pide

Préc

is

Agréab

le

Fatig

ante

Simple

Dive

rtissan

te


Pad /Pad Pad/P&Y


100

Questions ?

101

?

101

Science

Conception et évaluation de nouvelles techniques d’interaction gestuelle pour la télévision interactive