Interfaces et Scénarisation (COM2571) 17 septembre 2013 Grégory Petit
54
Évaluation d’un système interactif Tests d’utilisabilité Interfaces et Scénarisation (COM2571) 17 septembre 2013 Grégory Petit http://lrcm.com.umontreal.ca/greg/COM2571/
Interfaces et Scénarisation (COM2571) 17 septembre 2013 Grégory Petit
Interfaces et Scnarisation (COM2571) 17 septembre 2013 Grgory
Petit http://lrcm.com.umontreal.ca/greg/COM2571/
Page 2
La semaine dernire On a vu : La notion dutilisabilit Des
critres ergonomiques La mthode dvaluation heuristique par des
experts
Page 3
Voila Lhomme adapt lordinateur!!!
Page 4
Et donc on fait quoi aujourdhui? valuation et processus de
recherche et dveloppement (R&D) Dfinir une problmatique Mthodes
dvaluation de lutilisabilit valuation heuristique Tests
utilisateurs Exemple avec les non-voyants Atelier
Page 5
valuation et processus de recherche et dveloppement
(R&D)
Page 6
Prjugs Le dveloppement et lvaluation, cest cher! Je connais le
domaine je sais que jai fait un truc bien! On a test loutil en
interne Je sais lutiliser donc tout le monde peut lutiliser On a
fait passer un questionnaire et toute le monde aime a Personne
naime les critiques
Page 7
Processus de R&D Conceptualisation DveloppementImplantation
Produit fini Innovation Analyse des besoins Observations Entrevues
Analyse de donnes prcdentes Analyse des fonctionnalits Prototype
valuation valuation heuristique valuation empirique Tests
techniques Tests dutilisabilit
Page 8
Dfinir une problmatique but de lvaluation
Page 9
But de lvaluation Toujours prciser les objectifs de lvaluation
en premier! valuer un systme adapt aux activits et au contexte?
Quelle est la valeur ajoute du systme?
Page 10
Comment mettre en place lvaluation? Rechercher les autres
systmes, les usagers, les thories, les expriences qui se rapportent
au systme valuer. Comparer un systme un autre ou une version
antrieure observer les diffrences Utilisabilit critres ergonomiques
Impact notion dutilit (apprentissage, vente, change) quoi a sert,
qui, pourquoi? Diffrents usagers, attentes
Page 11
Problmatique Une problmatique doit permettre de correctement
rpondre aux questions suivantes : Pourquoi met-on en place une
valuation? Que veut-on valuer? De quelle faon allons-nous faire
lvaluation?
Page 12
Mthodes dvaluation de lutilisabilit
Page 13
Mthodes dvaluation valuation analytique ou heuristique Tests
utilisateurs aussi appels valuation empirique avec des usagers
Page 14
valuation analytique Base sur lanalyse des tches ou des
activits - GOMS Parcours cognitif (Cognitive walkthrough) valuation
heuristique des principes ergonomiques (par des experts) dj
vu!
Page 15
valuation base sur lanalyse des tches et des activits GOMS
Aussi appel analyse hirarchique des tches Utile pour analyser un
systme dvelopper ou des activits existantes faire avant le
dveloppement! Utile pour dvelopper la documentation structure de
tche structure dinterface
Page 16
valuation base sur lanalyse des tches et des activits GOMS GOMS
= Goal Operators Methods and Selection rules Buts : intentions,
mmoire de la tche faire, structure explorer (Cas dutilisation)
pourquoi? Oprateurs : lments d'actions, composantes, effets, input,
output quoi? Mthode: organisation de la tche, des buts et des
oprateurs, suite dactions comment? Rgles de slection: procdure
gnrale de choix entre les mthodes comment? Lexemple Comment ouvrir
un fichier ?
Page 17
Application du modle GOMS Utile lorsque la tche est organise
sous formes dtapes Dcrire le comportement idal de la tche Permettre
de caractriser les diffrences entre modles usagers et tches prvues
Permet de distinguer les novices, les experts et les mthodes
efficaces pour la formation Permet de choisir des versions ou
options dans le systme Permet de considrer des variables comme la
distance des lments, le nombre doprations, le temps de celles-ci,
la difficult, l'imbrication Peut servir dcrire un systme priori et
le valider sur papier
Page 18
Parcours cognitif Approche des scnarios Dterminer les squences
dutilisation Identifier les buts et extraire les tats par lesquels
passeront les usagers Explorer les multiples chemins possibles
valuer lutilisabilit des squences
Page 19
Parcours cognitif Pour chaque action dans la squence se mettre
dans la peau dun usager Que veut faire lusager ? Laction requise
est-elle suffisamment vidente ? Lusager reconnat-il que laction
rpondra ses buts ? Lusager reconnat-t-il que la rponse du systme
rpond ses besoins, quil a fait le bon choix.
Page 20
Evaluation heuristique Voir cours prcdent
Page 21
Tests utilisateurs Protocole exprimentale Mthodologie danalyse
des observations Mthodologie danalyse des traces Utilisation des
questionnaires
Page 22
Protocole exprimental Prparation Choix des sujets Installation
Droulement
Page 23
Protocole exprimental prparation Dfinir la problmatique Dfinir
les tches Trouver un contexte rel dactivit
Page 24
Protocole exprimental - Problmatique La problmatique permet
didentifier le but de lvaluation valuation de lexprience globale
rencontre sur le site? valuation de certaines fonctionnalits
seulement? valuation dans un contexte dutilisation spcifique
(mobile?)
Page 25
Protocole exprimental - Tches Les tches permettent de rpondre
la problmatique Pas un nombre standard de tches valuer la dure
moyenne de chaque tche Viser un temps total dune heure pour
lexprimentation Identifier les critres de russite de chaque tche
Toutes les tches doivent tre ralisables
Page 26
Protocole exprimental Contexte dactivit Indiquer dans le
scnario de dpart quel est le contexte rel dactivit Exemples : Votre
contrat de tlphonie mobile expire bientt, vous souhaitez changer de
tlphone et trouver un forfait plus avantageux. Vous souhaitez
partir en vacances au soleil le mois prochain. Vous tes fan du
Canadien de Montral et voulez consulter les dernires informations
concernant cette quipe.
Page 27
Protocole exprimental Choix des sujets Echantillon reprsentatif
ou au hasard? Mesures rptes? Schma contrebalanc? GroupeTemps
1Temps2 ACondition 1Condition 2 B Condition 1
Page 28
Protocole exprimental Installation Tester si tout fonctionne :
Vido Audio Lapplication valuer Etc. Parcourir de nouveau la
consigne
Page 29
Protocole exprimental Droulement Formulaire de consentement
Consigne Pratique de la verbalisation (think aloud) Exprimentation
Intervenir le moins possible Observer Rappeler quil faut verbaliser
Questionnaires
Page 30
Observation Il faut noter : Actions de lutilisateur
Commentaires des usagers (incluant les questions poses) Temps mis
pour raliser une tche Erreurs commises Utilisation de laide Rponses
physiques de lutilisateur (expressions faciales) Diagnostic des
problmes ergonomiques sur le vif Suggestions sur le vif
Page 31
Laboratoire de test : LORIT
Page 32
Supervision: Voir les postes et les camras Contrle des postes
Contrle des camras Contrle des liens avec Internet Contrle des
enregistrements Magicien dOz simuler les interactions dun systme en
dveloppement, aide, questions suggestions.
Mthodologie danalyse des observations Transcription de vidos
Codage des observations et des commentaires des usagers selon une
grille ergonomique faire ensuite la synthse selon les grandes
catgories
Page 41
Transcription de vidos TempsStatus du systmeActions et
commentaires de lutilisateurProblmes et autres remarques 23:00Tche
1. Connectez-vous votre compte 23:15> AccueilLutilisateur essaie
de trouver le lien pour se connecter... Je pensais le trouver
quelque part sur la gauche Problme: Le modle mental de
lutiilisateur propos de la localisation de la fonctionnalit
permettant de se connecter ne correspond pas au modle du systme.
Problme : La fonctionnalit pour se connecter nest clairement
visible depuis le coin en haut droite. 23:59Il trouve finallement
le lien. Oh! Ctait chach ici! 24:10> Mon compte Lusager remplit
son nom dutilisateur et son mot de passe sans problme 25:00Dure de
la tche : 2:00 Rsultat:Succs 35:10Tche 2.
Page 42
Analyse des traces Nombre de visites dans les diffrents
environnements Temps pass dans les diffrents environnements
Contexte du temps pass (en revenant ou en avanant, en venant do ?)
Erreurs, appel laide Statistiques descriptives sur les donnes,
tableau des frquences, des moyennes, pourcentages Tests de
comparaison entre les groupes
Page 43
Questionnaire Il peut y avoir un pr-questionnaire (ge,
habitudes de lutilisateur, ) Sinon, le questionnaire a lieu aprs,
mais le plus vite possible! Questions adaptes et claires Questions
fermes au dbut, puis ouvertes Compltement daccord pas du tout
daccord VS. Echelle de Likert 1 (moins) X (plus) avec 0 = ne sait
pas VS. Smileyometter de Read
Page 44
Questionnaire Pr-tester les questions et modifier celles qui ne
sont pas claires ou inutiles, lorsque tout le monde a la mme rponse
Il vaut mieux viter les questions et les remplacer par des
affirmations positives en demandant lutilisateur sil est daccord Le
logiciel est-il difficile utiliser? Le logiciel est facile utiliser
Lutilisation du logiciel est : 1 2 3 4 5 (1 = trs difficile; 5 =
trs facile)
Page 45
Type de question Questions fermes Liste cocher Smileyometter
chelle de Likert (0 X) (X = 5 ou 7) Rang par exemple, ordonner les
problmes Questions ouvertes Principaux problmes et solutions Ce que
vous avez prfr Proposition damliorations
Page 46
Questionnaire Attention leffet Hawthorn!!! Les utilisateurs ont
la fcheuse habitude de vouloir faire plaisir lexprimentateur! Il
faut donc toujours leur prciser quils ne doivent pas hsiter tre
compltement transparent dans leurs commentaires. Indiquer que le
modrateur na pas participer la conception du systme aide.
Page 47
Questionnaire Ne pas suggrer de rponse Ne pas embarrasser les
utilisateurs Les questions ne doivent pas tre trop vasives Les
questions ne doivent pas tre trop complexes Lordre des questions
est important
Page 48
Ringnierie Rviser globalement latteinte des objectifs du
systme, qualifier et regrouper ce qui est le plus significatif
Repenser la structure des activits, de la navigation, la structure
de linterface Faire la liste des corrections apporter au niveau du
contenu textuel et non-textuel Rviser systmatiquement les crans,
les botes de dialogues, les commandes et corriger en assurant le
respect des critres ergonomiques Dire ce qua apport lexprimentation
et les prochaines actions faire
Page 49
Ringnierie Essayer de proposer une solution globale Changer
linterface rapport trs structur Proposer plus de guidage pour les
nouveaux utilisateurs Changer la procdure dutilisation du systme
Etc.
Page 50
Exemple
Page 51
Graphisme tactile lusage des non-voyants Protocole exprimental
Protocole exprimental graphisme tactileProtocole exprimental
graphisme tactile Trs (trop) complet car fait pour une recherche
Pas parfait (les questions sont orientes) Rsultats pour ceux que a
intresse Articles scientifiques sur le site
http://lrcm.com.umontreal.ca/greg/publi.html
http://lrcm.com.umontreal.ca/greg/publi.html
Page 52
Atelier
Page 53
Atelier valuation dAmazon Ce quon veut valuer : Trouver
facilement ce quon cherche tre correctement conseill dans les
achats Grer facilement le panier dachat Identifier vos types
dutilisateur Prparez la consigne (avec le contexte) et quelques
phrases pour encourager la verbalisation Choisissez des tches
typiques permettant de rpondre la problmatique (dure moyenne 1h)
Questionnaire - Prparez des questions selon la problmatique Faire
une grille dobservation
Page 54
Des questions??? Merci de votre attention! A la semaine
prochaine! [email protected]
http://lrcm.com.umontreal.ca/greg/COM2571/