UN MODÈLE POUR UNE SATISFACTION IMPLICITE DES PROPRIÉTÉSD’UTILISABILITÉ CARE POUR LES IHM MULTIMODALES

Nadjet KAMEl, Sid-Ahmed SELOUANI

Université de MonctonCampus de Shippagan

{nadjet,selouani}@umcs.ca

Habib HAMAM

Université de Moncton, Campus de MonctonCanadian university of Dubai

hamamh@umoncton.ca

ABSTRACT

Nous proposons un modèle formel d’interaction multimodaleintégrant les spécifications des propriétés d’utilisabilité CARE(Complémentarité, Assignation, Redondance et Équivalence).Le modèle permet la conception d’interfaces multimodalesvérifiant de manière implicite les propriétés CARE désirées.Ceci permet d’éviter l’étape de vérification de ces propriétésaprès la conception de l’interface. Ainsi, le temps et le coûtde développement de ces systèmes sont réduits. Le modèle aété validé en utilisant la technique de vérification sur modèle(model-checking) SMV (Symbolic Model Verifier) sur uneétude de cas.

Index Terms— User Interfaces, User centered design, Soft-ware verification and validation

1. INTRODUCTION

Les IHM multimodales offrent une grande flexibilité d’interac-tion en permettant à l’utilisateur de choisir entre plusieursmodalités d’interaction (parole, geste, etc...). Ces IHMs per-mettent aux systèmes de s’adapter aux divers environnementset usagers telles que les personnes handicapées. Elles perme-ttent également d’augmenter la sécurité des systèmes. En ef-fet, dans le cas où une modalité d’interaction devient inacces-sible, à cause d’une défaillance d’un dispositif d’interactionqui la produit, l’utilisateur peut continuer à interagir avec lesystème en utilisant une autre modalité équivalente.

Les avantages de ce type d’IHMs induisent une comple-xité dans leur développement. Un des aspects importants dansle développement des IHMs est la vérification de leur utili-sabilité. Pour cela, les auteurs de [1] ont défini un ensemblede propriétés qui caractérisent l’utilisabilité des IHM multi-modales. Ce sont les propriétés CARE (Complémentarité,Assignation, Redondance et Équivalence). Ces propriétés sontdéfinies par rapport à un ensemble de modalités et une tâcheutilisateur. Par exemple, un ensemble de modalités est équi-valent pour la réalisation d’une tâche si chacune des modalités

978-1-4244-1643-1/08/$25 c© 2008 IEEE

de cet ensemble permet la réalisation de cette tâche. Ceci ex-prime la flexibilité de l’interaction.

Plusieurs approches ont été utilisées pour spécifier et véri-fier ces propriétés. Dans ces travaux, le modèle de développe-ment passe toujours par deux étapes : une étape de concep-tion et une étape d’évaluation. En générale, il existe deuxapproches pour l’évaluation des propriétés d’utilisabilité. Lapremière approche est basée sur l’expérimentation. Elle faitappel à des utilisateurs pour utiliser le système après son déve-loppement et évaluer son utilisabilité [2]. Cette approche estlourde à mettre en oeuvre et coûteuse en temps. La deuxièmeapproche consiste à utiliser les méthodes issues du génie logi-ciel. Les techniques de tests [3] [4], de preuve formelle [5],et de vérification sur modèle (model-checking) [6] ont été uti-lisées afin de vérifier si les propriétés d’utilsabilité CARE sontsatisfaites par une IHM multimodale. L’inconvénient de latechnique de tests est qu’elle intervient après le développe-ment du système, ce qui induit un coût de mise à jour dans lecas où la propriété souhaitée n’est pas vérifiée. La techniquede preuve n’est pas totalement automatisable et nécessite uneassistance dans le processus de preuve, ce qui nécessite unecompétence dans cette technique. L’avantage de la techniquede vérification sur modèle est qu’elle est totalement automati-sable et elle peut être utilisée dès les premières phases du cy-cle de développement du système. Son principal inconvénientest sa complexité quand la taille du système à vérifier devientimportante.

Le travail que nous présentons dans cet article contribueà réduire cette complexité en intégrant la spécification despropriétés CARE dans la modélisation de l’interaction mul-timodale. Ceci permet de concevoir un système qui satisfaitles propriétés désirées d’une manière implicite sans avoir re-cours à une procédure de vérification. Ceci permet de gagnerdu temps et de diminuer le coût du développement. Nousproposons une conception centrée utilisateur en modélisant lesystème d’une manière compositionnelle à partir de modèlesde tâches utilisateurs. Nous validons notre modèle en utilisantla technique de vérification sur modèle SMV [7] sur l’étudede cas Matis [8].

Cet article est organisé en 5 sections. La prochaine section

000279

présente notre modèle qui intègre les propriétés CARE. Dansla section 3 nous montrons comment nous pouvons composerces modèles de tâches pour concevoir l’ensemble de l’interac-tion multimodale. La validation de notre approche est présen-tée dans la section 4. Finalement, la section 5 présente laconclusion et les perspectives de ce travail.

2. UN MODÈLE DE TÂCHE SATISFAISANT LESPROPRIÉTÉS CARE

2.1. Syntaxe

La syntaxe du modèle de tâche est donnée par une grammaireBNF. Pour cela, nous définissons un ensemble d’opérateurscompositionnels : la séquence (; et »), le choix ([]) et le par-allèle (||). mi est une modalité de l’ensemble M des modal-ités du système (1 ≤ i ≤ n , n est le cardinal de M ) etSubM = {mi, mj} ⊆ M . Tmi est une tâche ou sous-tâche interactive réalisée par les actions ami produites parla modalité mi. La tâche Tmji est réalisée en utilisant lesmodalités mi et/ou mj, telle que la modalité mj est utiliséeau moins une fois. Tm∗ est une tâche réalisée uniquementpar la modalité mi ou bien uniquement par la modalité mj oubien en utilisant les deux. TXSubM est une tâche qui satis-fait la propriété X , tel que X ∈ {C, A, R, E}, et C, A, R et Edénotent respectivement, la Complémentarité, l’Assignation,la Redondance et l’Équivalence de modalités de l’ensembleSubM .

2.1.1. Modèle de tâche satisfaisant la Complémentarité

Une tâche satisfaisant la propriété de complémentarité desdeux modalités mi et mj, doit être réalisée par les deux moda-lités d’une manière séquentielle. Si la première action estréalisée par la modalité mi, alors le reste de la tâche (Tmji)est réalisée par les actions produites par les modalités mi

et/ou mj, mais au moins une action est réalisée par la moda-lité mj (mj; Tm∗). Le choix entre des tâches satisfaisantcette propriété (TCSubM []TCSubM ) produit une tâche qui sa-tisfait également cette propriété.

TCSubM ::= T1 | T2 | TCSubM []TCSubM

T1 ::= ami;Tmji

T2 ::= amj; Tmij

Tmji ::= ami;Tmji | amj; Tmji | amj; Tm∗Tmij ::= amj; Tmij | ami; Tmij | ami;Tm∗Tm∗ ::= amj; Tm∗ | ami; Tm∗ | δ

2.1.2. Modèle de tâche satisfaisant l’Assignation

Une tâche satisfaisant la propriété d’assignation de la moda-lité mi, doit être réalisée uniquement par cette modalité. Lacomposition en séquence ou en alternance (choix) de tâchessatisfaisant cette propriété, produit une tâche qui satisfait lamême propriété.

TAmi ::= Tmi | TAmi[]TAmi | TAmi >> TAmi

Tmi ::= ami;Tmi | δ

2.1.3. Modèle de tâche satisfaisant l’Equivalence

La propriété d’équivalence exprime le choix entre les moda-lités pour réaliser une tâche. Elle est exprimée par la règleTE qui définit le choix entre des tâches réalisées chacune parune modalité de l’ensemble SubM . La composition par laséquence et/ou le choix de tâches satisfaisant l’équivalencedes modalités, produit une tâche qui satisfait la même pro-priété.

TESubM ::= TESubM >> TESubM |TESubM []TESubM | TE | δ

TE ::= Tmi[]Tmj | Tmi | δ

Tmi ::= ami; Tmi | δ

Tmj ::= amj; Tmj | δ

2.1.4. Modèle de tâche satisfaisant la redondance

Deux modalités sont redondantes si elles sont équivalentes etelles sont utilisées toutes les deux pour la réalisation de latâche. TRSubM est une tâche réalisée par les deux tâchesTmi ou bien Tmj ou bien les deux en parallèle. Les deuxmodalités sont équivalentes du moment que chacune d’ellepermet de réaliser TRSubM .

TRSubM ::= Tmi || Tmj | Tmi | Tmj

Tmi ::= ami; Tmi | δ

Tmj ::= amj; Tmj | δ

2.2. Sémantique des opérateurs

Nous attribuons à chaque élément syntaxique du modèle unsystème de transition définissant la sémantique du modèle.Pour cela nous définissons les règles sémantiques pour chaqueopérateur syntaxique. Soit P et Q deux termes de la gram-maire précédente, et a, a1 et a2 des actions interactives del’ensemble A, représentant des actions interactives du sys-tème. La transition P

a→ Q exprime que le système représenté

par le terme P , réalise l’action a ensuite se comporte commele système représenté par le terme Q. En utilisant cette nota-tion pour les transitions, la sémantique opérationnelle est ex-primée formellement par les règles de transitions exprimantle comportement de chaque opérateur syntaxique. Chaque rè-gle de la forme premises

conclusionexprime que si les premises sont

satisfaites, alors la conclusion est déduite.

1. L’arrêt. δ est un état à partir duquel aucune transitionn’est permise;

2. Opérateur de préfixage. Le terme a; P réalise l’actiona et se comporte ensuite comme le terme P;

a; Pa→ P

3. Opérateur de séquence >>. Si le terme P réalise uneaction a et se comporte ensuite comme le terme P ′,alors le terme P >> Q réalise la même action et secomporte ensuite comme le terme P ′ >> Q. Ceci estdéfini par la règle suivante :

000280

Pa→P ′ et P ′ 6=δ

P>>Qa→P ′>>Q

Si le terme P réalise une action a et se termine, alors leterme P >> Q réalise la même action et se comporteensuite comme le terme Q. Ceci est défini par la règlesuivante:P

a→P ′ et P ′=δ

P>>Qa→Q

4. Opérateur de Choix []. Si le terme P (resp. Q) réaliseune action a et se comporte ensuite comme le terme P ′

(resp. Q′), alors le terme P []Q réalise la même actionet se comporte ensuite comme le terme P ′ (resp. Q′).

Pa→P ′

P []Qa→P ′

Qa→Q′

P []Qa→Q′

5. Opérateur de Parallèle ||. Les deux premières règlesexpriment l’entrelacement entre les deux systèmes. Ceci correspond au cas de systèmes asynchrones.

Pa1→P ′

P ||Qa1→P ′||Q

Qa2→Q′

P ||Qa2→P ||Q′

La troisième règle exprime le cas synchrone. Si le termeP réalise une action a1 et se comporte comme le termeP ′, et le terme Q réalise une action a2 et se comportecomme le terme Q’ alors le terme P || Q exécute lesdeux actions et se comporte comme le terme P ′ || Q′.Nous supposons que le système ne peut pas exécuterplus d’une action de même modalité en même temps.Pour cela, nous définissons la fonction mod qui attribueà chaque action la modalité qui la produit.

Pa1→P ′ and Q

a2→Q′ and mod(a1)6=mod(a2)

P ||Q(a1,a2)

→ P ′||Q′

3. UN MODÈLE POUR L’INTERACTIONMULTIMODALE

Nous utilisons les modèles de tâches présentés dans la sectionprécédente pour modéliser l’ensemble du système d’interac-tion d’une IHM multimodale. Le modèle ainsi obtenu satisfaitles propriétés CARE requises lors de la conception. Le mo-dèle de l’interaction multimodale est défini par composition(séquentielle ou parallèle) des différents modèles de tâchesdéfinis selon les modèles présentés dans la section précédente.

La syntaxe du modèle est donnée par une grammaire BNF.Les contraintes temporelles sont exprimées par les opérateursde composition sur les tâches utilisateurs: séquence (>>),choix ([]) et parallélisme (||). Les éléments de base com-posés par ces opérateurs sont les tâches utilisateurs (TCARE)définies dans la section précédente.

S ::= S[]S | S >> S | S || S | TCARE

TCARE ::= TC | TA | TR | TE

La sémantique des différents opérateurs est la même don-née dans la section précédente.

4. VALIDATION DU MODÈLE

Nous avons utilisé la technique de vérification sur modèleSMV [7] pour valider notre modèle. Pour cela, nous avonschoisi l’application Matis (Multimodal Airline Travel Infor-mation System) [8] comme étude de cas. C’est une applica-tion multimodale qui permet d’interroger une base de donnéespour une compagnie aérienne en utilisant les deux modalités :parole et manipulation directe avec la souris. Pour envoyerune requête, l’utilisateur remplit un ensemble de champs tex-tuels : les champs From et To correspondent, respectivement,aux villes de départ et d’arrivée.

4.1. Étape de modélisation

Nous avons défini deux ensembles d’actions interactives pro-duites par chacune des modalités Parole et Manipulation-directe avec les clics de la souris.

AParole = {”showmeflights”, ”Oslo”, ”Boston”,

”Thiscity”, ”From”, ”To”, ”Send request”}AManip = {ClickNreq,ClickO,ClickB, ClickFm,

ClickTo,ClickSend}

4.1.1. modélisation des tâches de l’utilisateur

En composant les actions définies précédemment, nous avonsmodélisé quatre tâches utilisateurs. NewReq est la tâche quiouvre un nouveau formulaire pour une nouvelle requête. Fil-

From est une tâche qui remplit le champs From. FilTo estla tâche qui rempli le champs To. La tâche SendReq permetd’envoyer les paramètres au noyau fonctionnel de l’application.

Nous avons modélisé ces tâches en utilisant notre modèlede tâche défini dans la section 2. FilFromCPM

et FilT oCPM

sont deux modèles correspondant, respectivement, aux tâchesFilFrom et FilTo en utilisant les modalités Parole et Manip-

ulation directe de manière complémentaires. Pour cela, nousavons utilisé le modèle présenté dans la section 2.1.1. FilFro-mEPM

et FilT oEPMsont les deux modèles correspondant

aux mêmes tâches réalisées avec les mêmes modalités mais demanière équivalente. Nous avons utilisé pour cela les modèlesprésentés dans la section 2.1.3. Les modèles NewReqAM

etSendReqAM

ont été obtenus en utilisant le modèle présentédans la section 2.1.2 pour les tâches NewReq et SendReq.Par manque d’espace, nous donnons uniquement l’expressionde la tâche FilFromCPM

.

FilFromCSD = FilFrom1CSD[]FilFrom2CSD

FilFrom1CSD = ClickFm; ”Boston”; | δ

F ilFrom2CSD = ”From”; ”This city”; ClickB; | δ

4.1.2. Modélisation de l’ensemble du système

En utilisant le modèle de la section 3, nous avons composé cestâches en séquences pour concevoir l’ensemble du systèmed’interaction. Son expression est définie comme suit :

000281

1 2ClickNreq

4ClickFm

6

5“From" ClickB

“Boston"

3“this city"

7ClickTo

10

8“To"

ClickO

“Oslo"

11Sendreq

Fig. 1. Système de transitions de l’interaction multimodale

NewreqADmanip >> FilFromCPM >> FilToEPM >>

SendreqAM >> δ

Le système de transitions correspondant à ce modèle estobtenu en appliquant les règles sémantiques. Il est présentépar la Figure 1.

4.2. Etape de validation

Nous avons codé le système de transitions de la Figure 1 dansle langage d’entrée de SMV. Ensuite, nous avons exprimé lespropriétés en CTL [9] selon les formules génériques présen-tées dans [10]. Finalement, nous avons utilisé l’outil SMVpour vérifier si les propriétés CARE exprimées par des for-mules CTL sont satisfaites par le modèle du système d’intera-ction. La propriété d’assignation de la modalité Manipula-

tion directe est satisfaite par les tâches NewReq et SendReq.Les propriétés d’équivalence et de complémentarité des deuxmodalités Parole et Manipulation directe sont satisfaites, re-spectivement, par les tâches FilTo et FilFrom. Ceci validel’intégration de ces propriétés dans les modèles de départ.

5. CONCLUSION

Dans cet article, nous avons défini un modèle intégrant lespropriétés CARE. Nous avons montré comment ce modèlepeut être utilisé dans une approche de conception centrée utili-sateur. Cette approche consiste à modéliser l’interaction demanière compositionnelle à partir de modèles de tâches uti-lisateurs. Elle permet d’éviter la phase de vérification souventcoûteuse.

Les propriétés de complémentarité, d’assignation et d’équi-valence ont été validées par la technique de model-checkingSMV. La propriété de redondance n’a pu être validée par cettetechnique. Elle peut être validée en utilisant une relation debisimulation entre les systèmes de transitions de l’IHM etde sa propriété. Nous envisageons, dans un travail futur, dedévelopper un outil implémentant cette approche et permet-tant son utilisation par des non-experts des modèles formels.

6. REFERENCES

[1] J Coutaz, L Nigay, D Salber, A Blandford, J May, andR Young, “Four Easy Pieces for Assessing the Us-ability of Multimodal Interaction : the CARE proper-ties,” in Proceedings of Human Computer Interaction

- INTERACT’95, Lillehammer, Norway, June 1995, pp.115–120, ‘Bass, L. J. and Unger, C.

[2] H. Been-Lirn Duh, G. CB Tan, and V. Hsueh hua Chen,“Usability evaluation for mobile device: A comparisonof laboratory and field tests,” in 8th Conference on

Human-Computer Interaction with Mobile Device and

Services, Mobile HCI’06, Helsink, Finland, 2006, pp.181–186, ACM 2006, ISBN 1-59593-5.

[3] F. Jourde, L. Nigay, and I. Parissis, “Test formel de sys-tèmes interactifs multimodaux : couplage ICARE - Lut-ess,” in ICSSEA2006, 19ème journées Internationales

"génie logiciel & Ingénierie de Systèmes et leurs Ap-

plications" Globalisation des services et des systèmes,2006.

[4] M. Serrano, L. Nigay, R. Demumieux, J. Descos, andP. Losquin, “Multimodal interaction on mobile phones:Development and evaluation using acicare,” in 8th Con-

ference on Human-Computer Interaction with Mobile

Device and Services, Mobile HCI’06, Helsink, Finland,2006, pp. 129–1136, ACM 2006, ISBN 1-59593-5.

[5] Y. Ait-Ameur, I. Ait-Sadoune, and M. Baron, “Etudeet comparaison de scénarios de développements formelsd’interfaces multi-modales fondés sur la preuve et le raf-finement,” in MOSIM 2006 - 6ème Conférence Fran-

cophone de Modélisation et Simulation. Modélisation,

Optimisation et Simulation des Systèmes : Défis et Op-

portunités, Rabat, 2006.

[6] N. Kamel and Y. Ait-Ameur, “Mise en oeuvre d’IHMMultimodales dans un système de CAO. Une approchefondée sur les méthodes formelles,” Revue interna-

tionale d’ingénierie numérique, vol. 1, no. 2, pp. 235–256, 2005.

[7] K L McMillan, Symbolic Model Checking, Kluwer Aca-demic Publishers, 1993.

[8] Laurence Nigay, Conception et Modélisation Logicielle

des Systèmes Interactifs : Application aux Interfaces

Multimodales, Doctorat d’université (phd thesis), Uni-versité Joseph Fourier, 1994.

[9] E M Clarke and E A Emerson, “Design and Synthesis ofSynchonization Skeletons Using Branching Time Tem-poral Logic.,” in Proc. of the Workshop on Logics of

Programs, Yorktown Heights, 1981, pp. 52–71, LNCS131.

[10] N. KAMEL and Y. Ait-Ameur, “A formal model forcare usability properties verification in multimodal hci,”in 2nd International Workshop on Software Engineer-

ing and Pervasive Services, at ICPS’07: IEEE Inter-

national Conference on Pervasive Services (ICPS’07),Turkey, 2007, pp. 341–348.

000282