1 Évaluation des logiciels interactifs M2-IFL/DU-TICE, UPMC [email protected] Méthodes...
of 52/52
1 Évaluation des logiciels interactifs M2-IFL/DU-TICE, UPMC [email protected]Méthodes d’Inspection (évaluation sans utilisateur) partie 1 (Cf. cours 1 bis) Méthodes impliquant les utilisateurs partie 2
1 Évaluation des logiciels interactifs M2-IFL/DU-TICE, UPMC [email protected] Méthodes dInspection (évaluation sans utilisateur) partie 1 (Cf
Text of 1 Évaluation des logiciels interactifs M2-IFL/DU-TICE, UPMC [email protected] Méthodes...
Page 1
1 valuation des logiciels interactifs M2-IFL/DU-TICE, UPMC
[email protected] Mthodes dInspection (valuation sans
utilisateur) partie 1 (Cf. cours 1 bis) Mthodes impliquant les
utilisateurs partie 2
Page 2
2 Mthodes dvaluation Mthodes dinspection Des gens expriment une
opinion Tests utilisateurs Des utilisateurs accomplissent une
tche
Page 3
3 Plan du cours 5 valuation des logiciels interactifs partie 1
: valuer ? Votre projet IHM valuation heuristique (septembre) Mise
en place dune revue de conception (aujourdhui) valuation cooprative
(atelier fin janv.) Mthodes dinspection ? Revue de conception
valuation heuristique partie 2 : Mthodes des tests utilisateurs
Quelles mthodes choisir ?
Page 4
valuation et conception itrative (cours de James Landay)
Page 5
5 Projet1 : valuer la concurrence Quand ? Moments d'valuation :
en amont (sept. Cours 2) Pourquoi ? Objectifs : lister les bonnes
et mauvaises pratiques Quoi ? Variables cibles : rapidit de prise
en main, temps de saisie des informations, rsum des saisies Comment
? Inspection heuristique (critres, scnarios) valuation cooprative
quel cot ? Rapide : quelques heures Bon march
Page 6
6 Projet2 : valuer un scnario de conception Quand ? Moments
d'valuation : en cours de conception (aujourdhui) Pourquoi ?
Objectifs : dtecter des problmes dutilisabilit Quoi ? Un scnario de
conception, logique de travail Comment ? Revue de conception
(Design Walkthrough) valuation par des pairs quel cot ? Rapide :
une heure Bon march
Page 7
7 Projet3 : valuer un prototype Quand ? Moments d'valuation :
fin dune itration (Fin Janvier) Pourquoi ? Objectifs : tester
lutilisabilit Quoi ? Variables cibles : temps de prise en main,
nombre de tches compltes/abandonnes, nombre derreurs/hsitation,
satisfaction Comment ? valuation cooprative quel cot ? Rapide :
quelques heures Assez bon march
Page 8
8 valuation : Dfinitions tudier les rapports entre la
conception et l'utilisation a priori, formative (conception)
identifier ou prvoir les besoins, les scnarios dutilisation, les
difficults potentielles ou relles des utilisateurs donner et valuer
des ides a posteriori, sommative (usage) caractriser les points
forts et les points faibles d'un systme interactif prparer les
volutions produire des connaissances
Page 9
Moments & Objectifs en cours de conception analyse de
besoins, comprhension des situations, tude de lexistant slection
d'alternatives de conception conception itrative de
maquettes/prototypes faisabilit et acceptabilit en cours de
ralisation dtection et correction de dfauts, contrle qualit, test
de performance avant diffusion tests de dverminage, d'acceptabilit,
vrification des performances intgration dans lactivit en cours de
diffusion satisfaction, amliorations, incidents, support
l'utilisateur, maintenance, image du produit avant d'acheter
comparaison de logiciels : technique/utilisabilit
Page 10
valuer quoi ? Les dimensions d'valuation dpendent des objectifs
et du contexte utilit la fiabilit, la qualit technique les temps de
rponse utilisabilit la facilit d'apprentissage, la flexibilit, la
robustesse lutilisation des fonctions la tolrance aux erreurs la
qualit de la documentation et de lassistance la logique du travail
les opinions ou les attitudes
Page 11
valuer comment ? Sans utilisateurs : approche analytique a
priori, ne ncessitant pas un systme fonde sur des modles implicites
(mthodes dinspection) explicites (formels, approches automatiques)
Avec utilisateurs : approche exprimentale (empirique) ncessitant un
systme (ou un prototype) recueil de donnes comportementales auprs
d'utilisateurs (en situation relle ou en laboratoire) Mthode
d'valuation cooprative (cours 5.2) Tests d'utilisabilit,
exprimentation contrle (N. Mandrian, W. Mackay)
Page 12
12 valuer quel prix ? Temps, argent, comptences Mthodes low
cost Culture de lvaluation chez les informaticiens Dtection des
gros problmes, pas les problmes subtils Informelles, qualitatives,
valuation formative Mthodes scientifiques et rigoureuses Gros
projets, projets risques, recherche Informations fiables,
quantitatives Quel retour sur investissement pour les tudes
dutilisabilit ? (ROI)
Page 13
Approches analytiques Comparaison avec un "modle de rfrence"
(sans utilisateurs) Modles implicites : approches informelles
Mthodes dinspection (cours 1) Mthodes low cost Modles explicites :
approches formelles (ou semi-formelles) modles prdictifs analyse de
tches (KLM et GOMS) modle linguistique (ALG et CLG) modle de
complexit cognitive (Kieras et Polson) modles de qualit de
l'interface approche cognitive recherche des qualits optimales
Page 14
14 Les mthodes dinspection Inventaire jugements dexperts
grilles dvaluation revues de conception (design walkthrough)
Techniques scnarios heuristiques, des recommandations ou des
critres Avantages Pas cher et rapides (~ une journe) Faciles
utiliser (dtecter les erreurs flagrantes en 2 4 h) Inconvnients Ne
permettent pas de dtecter des erreurs subtiles (lies l'analyse du
travail, au contexte)
16 ROI (Return On Investment) problems foundbenefits / cost
[Canny 2004]
Page 17
Revue de conception (Design Walkthrough ) Examen du produit par
des pairs (entre 3 et 7) en cours de conception Objectif :
identifier des problmes (pas les rsoudre) Dure : limite 1 h
(fatigue) 5 rles : Prsentateur : droule un scnario Scribe : note
tous les commentaires Modrateur/ Gardien des standards : centre la
discussion sur l'utilisation, sur le cahier des charges veille au
respect de l'horaire Observateurs : prennent le rle de
l'utilisateur, posent des questions, font des remarques ou
critiques (constructives) sur l'utilisation
Page 18
Grilles d'valuation principes valuation d'aprs une liste des
proprits d'une bonne interface Notation systmatique sur une chelle
de valeur (3 7 points) problmes tat de l'art en ergonomie, diversit
des systmes => grille spcifique une application ? interprtation,
niveau d'expertise de l'valuateur, cohrence des rponses notation
htrognit de ce qui est not : rgle des 80/20 (ou 90/10) ne permet
pas -de comprendre la nature du problme rencontr -de hirarchiser
les difficults Avantages : utile pour faire des comparaisons
Page 19
19 Retenir Les diffrentes mthodes dvaluation sans utilisateurs
Jugement dexperts Inspection heuristique (critres) Revue de
conception (scnarios) Au moins un jeu de critres ergonomiques Par
exemple ceux de lINRIA Exercez-vous tudier les interfaces que vous
utilisez du point de vue utilisabilit et faites-vous des
catalogues
Page 20
20 Take home messages (partie 1) Mthodes dvaluation sans
utilisateurs Indispensables en cours de conception valuer les
maquettes et prototypes Rapides, pas chres et efficaces Permettent
dliminer les erreurs de conception de type amateur En projet
valuation heuristique (inspection avec un jeu de critres) Revue de
conception (scnarios) Mthodes dvaluation avec utilisateurs
Indispensables pour les problmes lis au domaine, lactivit, aux
usages
Page 21
21 Mthodes dvaluation Retenir Mthodes dinspection Des gens
expriment une opinion Tests utilisateurs Des utilisateurs
accomplissent une tche
Page 22
22 valuation des logiciels interactifs (2) M2-IFL/DU-TICE, UPMC
[email protected] Mthodes impliquant les utilisateurs
Cours 5 (partie 2)
Page 23
23 valuation Cours 5.1 : valuation sans utilisateurs valuer ?
Mthodes dinspection Cours 5.2 : valuation avec utilisateurs Tests
avec utilisateurs Les mthodes Recueil de donnes Quelles mthodes
choisir ?
Page 24
24 Tests dutilisabilit Quest-ce que cest ? Exprimentations pour
obtenir des informations sur un problme de conception Quand ? Tout
au long du cycle de conception En savoir plus ? En ligne sur le
site du cours : Cours de N. Mandran (IHM2009) Cours de W. Mackay et
M. Beaudoin Lafon Cours de A. Giboin Van Duyne et al. 2006, annexe
A, B A la bibliothque A. Boucher 2009, chapitres 9 et 11 E.
Brangier et al. 2003, chapitre 5
Page 25
Comment ? A lorigine mthodes de psychologie exprimentale
protocoles et des analyses statistiques rigoureuses Maintenant
techniques plus lgres pas de certitudes scientifiques informations
qualitatives ou quantitatives indispensables la conception Principe
simple : Trouver des utilisateurs tudier comment ils utilisent le
produit et recueillir des donnes Analyser les donnes et en dgager
des dcisions 25
Page 26
26 Les diffrentes mthodes Exprimentations contrles
Quasi-exprience tude de cas tudes de terrain (ergonomiques,
ethnographiques) valuation cooprative (Giboin)
Page 27
27 valuation cooprative (Giboin) Mthode conue par des ergonomes
pour tre mise en uvre par des non ergonomes (informaticiens)
Objectif : dtecter des problmes potentiels pour amliorer la
conception informer la conception observer les utilisateurs agir,
pas leur demander leur avis tapes 1.Recruter des utilisateurs
2.Prparer lvaluation 3.Raliser lvaluation : interagir avec les
utilisateurs 4.Analyser les rsultats de lvaluation 5.Tirer les
consquences de lvaluation 6.Rdiger le compte rendu de
lvaluation
Page 28
28 Recruter des utilisateurs Dimensions des utilisateurs
Statut, niveau dexprience, prfrence Typologie des utilisateurs
Occasionnel, intensif, rpt Nombre dutilisateurs Entre 1 et 5 chaque
itration Recrutement Annonces, financement, autorisations
Page 29
29 Prparer lvaluation Dfinir les tches : 1.Reprsentatives des
tches relles 2.Permettre une exploration minutieuse de linterface
Rdiger une feuille de tches effectuer par lutilisateur Donne
lutilisateur au dbut de la sance Tches prcises Contre Ex : Faites
ce que vous faites normalement Ex : Inscrivez-vous en ligne au
Master Tches ralisables avec le prototype Prparer une grille
dobservation avec les points que vous voulez observer
Page 30
Exemples/contre-exemple de tches Armoire pharmacie lectronique
Exemple : Vous revenez de chez le pharmacien avec les mdicaments de
lordonnance de votre bb de 6 mois et du renouvellement de vos
mdicaments contre la tension et le cholestrol Voici les deux
ordonnances et le sac de mdicaments. Rentrez ces mdicaments dans la
pharmacie lectronique Contre-exemple : Cliquez sur saisir les
donnes ; choisir le nom du mdicament dans la liste droulante
30
Page 31
31 Conseils noncer clairement les tches De prfrence dans un
scnario Apporter des accessoires de la vie courante valuer le temps
ncessaire Dcider d'un temps maximum pour chaque tche Prparer des
questions Distinguer dcouverte et utilisation courante Double
examen des tches importantes Tester la prise en main puis tester
une nouvelle fois en fin de sance Livrable 3.1 madresser la feuille
de tches que vous envisagez de communiquer aux utilisateurs
Page 32
32 Vrifier 1.Les tches choisies sont-elles ralisables l'aide du
prototype ? 2.Les tches amnent-elles l'utilisateur se centrer sur
les parties de l'interface qui intressent ? 3.Combien de temps est
allou pour chaque utilisateur ? 4. combien estimez-vous le temps
ncessaire chaque utilisateur pour raliser les tches ? 5.Le temps
imparti dpasse-t-il d'au moins 50 % le temps ncessaire pour raliser
les tches ? 6.L'nonc des tches est-il suffisamment clair pour un
utilisateur qui dcouvre ? 7.Lnonc est-il trop directif ?
Page 33
33 Avant lvaluation Vrifiez que tout est en place Le prototype
est-il prt ? Avez-vous test vous-mme la feuille de tches pour la
vrifier ? Lenvironnement est-il tranquille ? Le matriel est-il prt
pour enregistrer ce que dit lutilisateur ? Ce quil fait ? Vrifiez
le fonctionnement Chronomtre ? Une feuille prformate est-elle prte
pour prendre des notes ? Liste des questions poser ? Phrase pour
accueillir lutilisateur ?
Page 34
34 Droulement (1/2) Introduction (5 min) Pourquoi valuer,
pourquoi vous, quelle suite Prsentation du droulement de lvaluation
(3 min) Donner la feuille de tches, lui demander de commenter voix
haute ses actions Scnario de tches pour lexploration de lactivit
(60 min maxi) Debriefing avec lutilisateur Debriefing sans
lutilisateur Observations et prise de notes sur les commentaires,
le comportement, les ractions, linteraction chronomtrer ou compter
(erreurs, clics, mouvement de la souris, soupirs, sourires ) ou
filmer
Page 35
35 Droulement (2/2) Debriefing (10 min) Fonctionnalit non
couvertes, points positifs et ngatifs Conclusion (10 min) Points
forts, points faibles, ce quil faut imprativement garder/changer
Listes des difficults et propositions de solutions Questions
spcifiques Remercier Temps maxi : 1 h 30 utilisateur
Page 36
36 Conduite de la sance Mode informel (discussion libre) Pas de
feuille de consignes Si possible 2 observateurs : Un conduit
lentretien Lautre prend des notes et soccupe de la technique Statut
des utilisateurs : valuateurs et non sujets dexprience Ce nest pas
le participant qui est valu mais le systme
Page 37
37 larrive des utilisateurs Mettez les participants en
confiance Prsentez vous et noncez vos objectifs Regarder en quoi le
systme leur facilite ou leur complique la tche, peut les induire en
erreur Et non relever leurs erreurs Garantissez lanonymat et la
scurit Dcrivez les quipements et la faon dont vous allez tudier et
utiliser les donnes recueillies Prcisez au participant quil peut
tout moment arrter lobservation ce quil doit faire (penser haute
voix, chercher de laide etc., la tche ou le scnario) Demander sil y
a des questions pralables Dmarrer lenregistrement
(autorisation)
Page 38
38 Votre attitude Entretien de type apprenti/matre Lutilisateur
est lexpert qui vous explique ce quil fait Laisser parler les
utilisateurs tre attentif ce qui se passe Encourager les
utilisateurs parler voix haute pendant qu'ils utilisent le systme
Demander aux utilisateurs de commenter en diirect ce qu'ils font
Poser des questions Interdiction de Suggrer -sauf sur demande
expresse de lutilisateur perdu Critiquer, juger Se dfendre
Page 39
39 Exemples de questions Comment vous fates a ? Pourquoi vous
faites a ? Que voulez-vous faire ? Qu'arrivera-t-il si... ? Que
vient de faire le systme ? Que veut vous dire le systme avec ce
message ? Pourquoi le systme a-t-il fait cela ? quoi vous
attendiez-vous ? Qu'tes-vous en train de faire maintenant ?
Page 40
Contre-exemples Mais pourquoi tu fais-a ? Tu ne vois pas que ?
Cest pas du tout comme cela quil faut faire ! Non l faut que tu
cliques Laisse moi faire tu vas voir Avec tout le travail que a ma
demand, a ne te plat pas Rappelez-vous Vous tes l pour apprendre
Pas pour dfendre votre bb 40
Page 41
41 Points observer Comportement inattendu Ex: L'utilisateur
tape une srie imprvue de commandes Commentaires C'est chouette de
pouvoir faire a sans avoir retaper tout. Encore, faut que je retape
tout... Soupirs, sourires, impatience etc. Mesurer Le temps, les
clics, les trajets de la souris, le nombre dtapes, le nombre
derreurs, le nombre de sourires/soupirs
Page 42
Attention Objectif prioritaire Obtenir des informations de
lutilisateur Moyen Crer un dialogue avec l'utilisateur Consquences
Arrter la prise de notes si elle gne le dialogue Ne pas dfendre ses
ides, ses scnarios 42
Page 43
43 Debriefing avec lutilisateur Principe : discussion avec
lutilisateur (pas questionnaire) Sur le prototype Points forts,
points faibles, points amliorer imprativement Facilit dexcution des
tches, de comprhension des libells Suggestions Spcifiques au
prototype : menus, valeurs par dfaut etc. Sur lvaluation cooprative
L'enregistrement vous a-t-il gn ? Est-ce que les tches taient
semblables ce que vous avez l'habitude de faire ? Avez-vous trouv
le prototype raliste ?
Page 44
44 Debriefing avec le co-valuateur Immdiatement aprs la sance
changer Prendre des notes sur les impressions gnrales, les
incidents etc. Trs important on oublie trs vite Revoir les
utilisateurs une deuxime fois Pour vrifier les interprtations
tudier les changements possibles
Page 45
45 Analyser les rsultats Classez les rsultats Objets
dinterface, navigation, conception gnrale Faites ressortir les
points positifs et les points ngatifs Tirez les consquences des
valuations Modifications apporter Module daide Rdiger un rapport
Prsenter ltat du systme avant Prsenter lvaluation (les
utilisateurs, les tches, les donnes recueillies et leur analyse,
les rsultats ) Prsenter les amliorations apporter (et une nouvelle
maquette)
Page 46
46 valuations avec utilisateurs
Page 47
47 Critres de choix dune mthode Temps, budget, moments,
comptences Triangulez Mthodes lgres Interviews Inspection
heuristique, scnarios (+ expert du domaine) valuations coopratives
Recommandes pour les non ergonomes Projet risque : mthodes
rigoureuses Faire appel des spcialistes : ergonomes, sociologues,
voir ethnologues
Page 48
48 Quelle mthode choisir ? Utiliser plusieurs mthodes pour
croiser les rsultats et les interprtations Dpend des objectifs de
lvaluation, du budget, du temps Analyse de lexistant Mthodes
dinspection valuation cooprative Enqutes, tudes de terrain En cours
de conception Mthodes dinspection valuation cooprative
Exprimentations contrles (alternative de conception)
Page 49
Atelier dvaluation du projet Pour dbut janvier : rendre un plan
dvaluation Vos objectifs et ce que vous voulez mesurer Droulement
Introduction Feuille de tche, le(s) scnario(s) propos(s) et Grille
dobservation Pour latelier fin janvier: Disposer dun prototype et
mettre en uvre le plan dvaluation Prsence obligatoire ( lheure)
Pour le 30/1 : dossier dvaluation Quavez-vous appris des tests ?
49
Page 50
50 En rsum Mthodes dvaluation sans utilisateurs Reposent sur
des apprciations Indispensables en cours de conception valuer les
maquettes et prototypes Rapides, pas chres et efficaces Permettent
dliminer les erreurs de conception de type amateur Mthodes
dvaluation avec utilisateurs Reposent sur la ralisation de tches
Indispensables pour les problmes lis au domaine, lactivit, aux
usages valuation cooprative : mthode pour non ergonome
Page 51
51 valuation et cycle de dveloppement un tat d'esprit processus
qui dbute ds la spcification du logiciel ds le dbut se proccuper
des utilisateurs, de leurs activits construire des maquettes et des
prototypes -les critiquer -les faire critiquer mener des tests
exploratoires informels plus le cycle de dveloppement avance plus
les tests doivent tre rigoureux
Page 52
52 Take Home Messages Lvaluation au cur de la conception Pensez
aux critres dvaluation du logiciel ds la phase de spcification
Organisez trs tt des tests informels avec des utilisateurs finaux,
mme sur des petits projets Le temps perdu au dbut est regagn Mieux
vaut des tests informels que pas de tests du tout Triangulez,
croisez mthodes et rsultats valuation Ne vous contentez pas des
opinions Observez des gens qui accomplissent des actions Utilisez
Les inspections (critres, scnarios) Les revues de conception
(design walkthrough) Lvaluation cooprative
