1 RAZZLE : De la conception à lévaluation dun système mobile et multimodal Céline Coutrix,...

1

RAZZLE : De la conception à l’évaluation d’un système mobile et multimodal

Céline Coutrix, Laurence Nigay, Laurence Pasqualetti, Philippe Renevier

Équipe d'ingénierie de l’interaction homme machine

Laboratoire CLIPS-IMAG, Grenoble

2

Introduction

• Multimodalité étudiée avec un utilisateur fixe

Quel usage en contexte mobile?

• Projet en collaboration avec France Telecom• Conception et developpement d’un système mobile et multimodal• Évaluation ergonomique du système

3

Plan

Présentation du jeu mobile RAZZLE

Modèle d’Interaction Mixte

Conception des modalités

Développement

Évaluation ergonomique

Conclusion

4

RAZZLE : version France-Télécom

5

RAZZLE

6

Plan

Présentation du jeu mobile RAZZLE

Modèle d’Interaction Mixte

Conception des modalités

Développement

Évaluation ergonomique

Conclusion

7

ExempleQuickTime™ et un

décompresseur codec YUV420sont requis pour visionner cette image.

8

Modèle d’Interaction Mixte: Objet Mixte

Objet mixte

Outil Objet de la tâche

9

Objet physique

Propriétésphysiques

Objet numérique

Propriétésnumériques

Objet mixte

Propriétésphysiques

Propriétésnumériques?

• modalité d’ Interaction m = (d, l)

• parole = (microphone, langage naturel)

Modèle d’Interaction Mixte: Objet Mixte

10

Modèle d’Interaction Mixte : Objet Mixte

Modalité de Liaison

Objet mixte

Propriérésphysiques

Propriétésnumériques

Dispositif d’entrée

Dispositifde sortie

Langage de sortie

Donnéesphysiquesen entrée

Langaged’entrée

Donnéesphysiquesgénérées

11

Modèle d’Interaction Mixte : Objet Mixte

Dessin mixte

Propriétésphysiques Formes

Caméra

Projecteur Sélection

Image Vision parordinateur

Image

QuickTime™ and aPhoto - JPEG decompressor

are needed to see this picture.

12

Modèle d’Interaction Mixte : Objet Mixte

Pièce mixte

Popriétésphysiques

IdentifiantPosition

Orientation

Capteur de position

Casquesemi

transparentProjection

3D

Valeurnumérique

Transforma°géométrique

Image

Capteur d’orientation

Valeurnumérique

Transforma°géométrique

13

Modèle d’Interaction Mixte : Objet Mixte

Objet mixte

Propriétésphysiques

PropriétésnumériquesModalités

deLiaison

Outil Objetde la tâche

14

Outil

Objetde la tâche

action

réaction

tâcheélémentaire

réponse

retour d’information

Modèle d’Interaction Mixte : Interaction Mixte

15

modalité d’Interaction m = (d, l)

Modèle d’Interaction Mixte : Interaction Mixte

16

Outil mixte

Propriérésphysiques

Propriérésnumériques

Dispositifd’entrée

Dispositifde sortie

Langagede sortie

Donnéesphysiques

Langaged’entrée

Donnéesphysiques

Langaged’interaction

en sortie

Langaged’interaction

en entrée

Objetde la tâche

Modèle d’Interaction Mixte : Interaction Mixte

17

QuickTime™ and aPhoto - JPEG decompressor

are needed to see this picture.

QuickTime™ and aPhoto - JPEG decompressor

are needed to see this picture.

Modèle d’Interaction Mixte : Interaction Mixte

18

Outil mixte

Boutonde

papier

Bouton,Mot,

Emplacement

caméra imageVision

Parordinateur

translation

dessin

Outil mixte

Modèle d’Interaction Mixte : Interaction Mixte

19

Plan

Présentation du jeu mobile RAZZLE

Modèle d’Interaction Mixte

Conception des modalités

Développement

Évaluation ergonomique

Conclusion

20

Modalités conçuesOutil mixte

? ?

? ?

?

21

Modalité gestuelle

QuickTime™ et undécompresseur DV - PAL

sont requis pour visionner cette image.

22

Modalité gestuelleOutil mixte

Propriétésphysiques

Gestereconnu

caméra imageVision

Parordinateur

traduction

23

Modalité tactile

QuickTime™ et undécompresseur DV - PAL

sont requis pour visionner cette image.

24

Modalité tactileOutil mixte

Propriétésphysiques

Clic, Geste

reconnu

touchpad données Langaged’entrée

traduction

25

Modalité parléeOutil mixte

Propriétésphysiques

Motreconnu

micro données Langaged’entrée

traduction

26

Plan

Présentation du jeu mobile RAZZLE

Modèle d’Interaction Mixte

Conception des modalités

Développement

Évaluation ergonomique

Conclusion

27

Magicien d’Oz

QuickTime™ et undécompresseur TIFF (non compressé)

sont requis pour visionner cette image.

QuickTime™ et undécompresseur TIFF (non compressé)

sont requis pour visionner cette image.

QuickTime™ et undécompresseur TIFF (non compressé)sont requis pour visionner cette image.

Salle de jeu Salle du compère

28

Magicien d’Oz

29

Magicien d’Oz

QuickTime™ et undécompresseur TIFF (non compressé)

sont requis pour visionner cette image.

QuickTime™ et undécompresseur TIFF (non compressé)

sont requis pour visionner cette image.

QuickTime™ et undécompresseur TIFF (non compressé)

sont requis pour visionner cette image.

QuickTime™ et undécompresseur TIFF (non compressé)

sont requis pour visionner cette image.

QuickTime™ et undécompresseur TIFF (non compressé)sont requis pour visionner cette image.

Salle de jeu Salle du compère

30

Architecture de RAZZLEPac-amodeus : Arch et PAC

ContrôleurContrôleurdede

dialoguedialogue

AdaptateurAdaptateurde noyaude noyau

fonctionnelfonctionnel

InteractionInteractionlogiquelogique

NoyauNoyaufonctionnelfonctionnel

InteractionInteractionphysiquephysique

PPAA

CC

PPAA

CCPPAA

CC

PPAA

CC

31

In

terf

ace J

ava r

mi,

réseau

san

s fi

lIn

terf

ace J

ava r

mi,

réseau

san

s fi

l

Architecture du Magicien d’Oz

ContrôleurContrôleurdede

dialoguedialogue

AdaptateurAdaptateurde noyaude noyau

fonctionnelfonctionnel

InteractionInteractionlogiquelogique

NoyauNoyaufonctionnelfonctionnel

InteractionInteractionphysiquephysique

MagicienMagiciend’ozd’oz

QuickTime™ et undécompresseur TIFF (non compressé)sont requis pour visionner cette image.

Joueur Compère

32

Plan

Présentation du jeu mobile RAZZLE

Modèle d’Interaction Mixte

Conception des modalités

Développement

Évaluation ergonomique

Conclusion

33

But de l’expérience

Étudier l’usage de la multimodalité

par les utilisateurs d’un système mobile

34

Protocole expérimental

• 10 sujets• 20 ans < âge < 30 ans• Non joueurs aux jeux vidéos• 3 sessions de jeu pour chacun• Enregistrement des sessions• Entretiens

35

RésultatsTaux d'utilisation des modalités pour toutes sessions et sujets

confondus

31%

45%

24%

TactileGestuelleVocale

36

RésultatsTaux d'utilisation des modalités par sujet

(toutes commandes et sessions

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

1 2 3 4 5 6 7 8 9 10sujets

taux d'utilisation des modalités

TactileGestuelleVocale

37

RésultatsComparaison de l'usage des modalités par sujet entre la première et la

troisième session (toutes actions confondus)

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Sujet1 Session1Sujet1 Session3Sujet2 Session1Sujet2 Session3Sujet3 Session1Sujet3 Session3Sujet4 Session1Sujet4 Session3Sujet5 Session1Sujet5 Session3Sujet6 Session1Sujet6 Session3Sujet7 Session1Sujet7 Session3Sujet8 Session1Sujet8 Session3Sujet9 Session1Sujet9 Session3Sujet10 Session1Sujet10 Session3

Sujets et sessions

taux d'utilisation des modalités

Tactile

Gestuelle

vocale

38

RésultatsTaux d'utilisation des modalités pour chaque action et chaque

session

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Rotation 1 Récupération 1 Rotation 2 Récupération 2 Rotation 3 Récupération 3

action et session

taux d'utilisation des modalités

Tactile

Gestuelle

Vocale

39

RésultatsTaux d'utilisation des modalités pour chaque action et session par

le sujet 4

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Rotation 1 Récupération1

Rotation 2 Récupération2

Rotation 3 Récupération3

action et session

taux d'utilisation des modalités

Tactile

Gestuelle

Vocale

40

RésultatsTaux d'utilisation des modalités pour chaque action et session par

le sujet 9

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Rotation 1 Récupération1

Rotation 2 Récupération2

Rotation 3 Récupération3

action et session

taux d'utilisation des modalités

Tactile

Gestuelle

Vocale

41

Résultats

• Intérêt du magicien d’Oz

Mais lieu de l’expérience confiné

• Utilisabilité de la modalité gestuelle

• Multimodalité utilisée

42

Plan

Présentation du jeu mobile RAZZLE

Modèle d’Interaction Mixte

Conception des modalités

Développement

Évaluation ergonomique

Conclusion

43

Conclusion

Dans le cadre d’un projet avec France Telecom• Modèle d’interaction mixte• Conception d’un système mobile et multimodal• Étude de son usage

44

Perspectives

• Pouvoir comparatif• Lien entre le modèle d’interaction mixte et le

développement logiciel

45

Perspectives

46

RAZZLE : De la conception à l’évaluation d’un système mobile et multimodal

Céline Coutrix, Laurence Nigay, Laurence Pasqualetti, Philippe Renevier

Équipe d'ingénierie de l’interaction homme machine

Laboratoire CLIPS-IMAG, Grenoble