1 Évaluation des logiciels interactifs M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) partie 1 (Cf

  • Published on
    04-Apr-2015

  • View
    103

  • Download
    0

Embed Size (px)

Transcript

<ul><li> Page 1 </li> <li> 1 valuation des logiciels interactifs M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Mthodes dInspection (valuation sans utilisateur) partie 1 (Cf. cours 1 bis) Mthodes impliquant les utilisateurs partie 2 </li> <li> Page 2 </li> <li> 2 Mthodes dvaluation Mthodes dinspection Des gens expriment une opinion Tests utilisateurs Des utilisateurs accomplissent une tche </li> <li> Page 3 </li> <li> 3 Plan du cours 5 valuation des logiciels interactifs partie 1 : valuer ? Votre projet IHM valuation heuristique (septembre) Mise en place dune revue de conception (aujourdhui) valuation cooprative (atelier fin janv.) Mthodes dinspection ? Revue de conception valuation heuristique partie 2 : Mthodes des tests utilisateurs Quelles mthodes choisir ? </li> <li> Page 4 </li> <li> valuation et conception itrative (cours de James Landay) </li> <li> Page 5 </li> <li> 5 Projet1 : valuer la concurrence Quand ? Moments d'valuation : en amont (sept. Cours 2) Pourquoi ? Objectifs : lister les bonnes et mauvaises pratiques Quoi ? Variables cibles : rapidit de prise en main, temps de saisie des informations, rsum des saisies Comment ? Inspection heuristique (critres, scnarios) valuation cooprative quel cot ? Rapide : quelques heures Bon march </li> <li> Page 6 </li> <li> 6 Projet2 : valuer un scnario de conception Quand ? Moments d'valuation : en cours de conception (aujourdhui) Pourquoi ? Objectifs : dtecter des problmes dutilisabilit Quoi ? Un scnario de conception, logique de travail Comment ? Revue de conception (Design Walkthrough) valuation par des pairs quel cot ? Rapide : une heure Bon march </li> <li> Page 7 </li> <li> 7 Projet3 : valuer un prototype Quand ? Moments d'valuation : fin dune itration (Fin Janvier) Pourquoi ? Objectifs : tester lutilisabilit Quoi ? Variables cibles : temps de prise en main, nombre de tches compltes/abandonnes, nombre derreurs/hsitation, satisfaction Comment ? valuation cooprative quel cot ? Rapide : quelques heures Assez bon march </li> <li> Page 8 </li> <li> 8 valuation : Dfinitions tudier les rapports entre la conception et l'utilisation a priori, formative (conception) identifier ou prvoir les besoins, les scnarios dutilisation, les difficults potentielles ou relles des utilisateurs donner et valuer des ides a posteriori, sommative (usage) caractriser les points forts et les points faibles d'un systme interactif prparer les volutions produire des connaissances </li> <li> Page 9 </li> <li> Moments &amp; Objectifs en cours de conception analyse de besoins, comprhension des situations, tude de lexistant slection d'alternatives de conception conception itrative de maquettes/prototypes faisabilit et acceptabilit en cours de ralisation dtection et correction de dfauts, contrle qualit, test de performance avant diffusion tests de dverminage, d'acceptabilit, vrification des performances intgration dans lactivit en cours de diffusion satisfaction, amliorations, incidents, support l'utilisateur, maintenance, image du produit avant d'acheter comparaison de logiciels : technique/utilisabilit </li> <li> Page 10 </li> <li> valuer quoi ? Les dimensions d'valuation dpendent des objectifs et du contexte utilit la fiabilit, la qualit technique les temps de rponse utilisabilit la facilit d'apprentissage, la flexibilit, la robustesse lutilisation des fonctions la tolrance aux erreurs la qualit de la documentation et de lassistance la logique du travail les opinions ou les attitudes </li> <li> Page 11 </li> <li> valuer comment ? Sans utilisateurs : approche analytique a priori, ne ncessitant pas un systme fonde sur des modles implicites (mthodes dinspection) explicites (formels, approches automatiques) Avec utilisateurs : approche exprimentale (empirique) ncessitant un systme (ou un prototype) recueil de donnes comportementales auprs d'utilisateurs (en situation relle ou en laboratoire) Mthode d'valuation cooprative (cours 5.2) Tests d'utilisabilit, exprimentation contrle (N. Mandrian, W. Mackay) </li> <li> Page 12 </li> <li> 12 valuer quel prix ? Temps, argent, comptences Mthodes low cost Culture de lvaluation chez les informaticiens Dtection des gros problmes, pas les problmes subtils Informelles, qualitatives, valuation formative Mthodes scientifiques et rigoureuses Gros projets, projets risques, recherche Informations fiables, quantitatives Quel retour sur investissement pour les tudes dutilisabilit ? (ROI) </li> <li> Page 13 </li> <li> Approches analytiques Comparaison avec un "modle de rfrence" (sans utilisateurs) Modles implicites : approches informelles Mthodes dinspection (cours 1) Mthodes low cost Modles explicites : approches formelles (ou semi-formelles) modles prdictifs analyse de tches (KLM et GOMS) modle linguistique (ALG et CLG) modle de complexit cognitive (Kieras et Polson) modles de qualit de l'interface approche cognitive recherche des qualits optimales </li> <li> Page 14 </li> <li> 14 Les mthodes dinspection Inventaire jugements dexperts grilles dvaluation revues de conception (design walkthrough) Techniques scnarios heuristiques, des recommandations ou des critres Avantages Pas cher et rapides (~ une journe) Faciles utiliser (dtecter les erreurs flagrantes en 2 4 h) Inconvnients Ne permettent pas de dtecter des erreurs subtiles (lies l'analyse du travail, au contexte) </li> <li> Page 15 </li> <li> 15 Combien dexperts ? [Nielsen 1993] % Problmes dtects Nombre d valuateurs 0 12345678910111213 20 40 30 10 50 100 90 80 70 60 valuateurs spcialistes du domaine valuateurs gnralistes valuateurs novices 15 0 12345678910111213 20 40 30 10 50 100 90 80 70 60 valuateurs spcialistes du domaine valuateurs gnralistes valuateurs novices 15 0 12345678910111213 20 40 30 10 50 100 90 80 70 60 valuateurs spcialistes du domaine valuateurs gnralistes valuateurs novices 15 </li> <li> Page 16 </li> <li> 16 ROI (Return On Investment) problems foundbenefits / cost [Canny 2004] </li> <li> Page 17 </li> <li> Revue de conception (Design Walkthrough ) Examen du produit par des pairs (entre 3 et 7) en cours de conception Objectif : identifier des problmes (pas les rsoudre) Dure : limite 1 h (fatigue) 5 rles : Prsentateur : droule un scnario Scribe : note tous les commentaires Modrateur/ Gardien des standards : centre la discussion sur l'utilisation, sur le cahier des charges veille au respect de l'horaire Observateurs : prennent le rle de l'utilisateur, posent des questions, font des remarques ou critiques (constructives) sur l'utilisation </li> <li> Page 18 </li> <li> Grilles d'valuation principes valuation d'aprs une liste des proprits d'une bonne interface Notation systmatique sur une chelle de valeur (3 7 points) problmes tat de l'art en ergonomie, diversit des systmes =&gt; grille spcifique une application ? interprtation, niveau d'expertise de l'valuateur, cohrence des rponses notation htrognit de ce qui est not : rgle des 80/20 (ou 90/10) ne permet pas -de comprendre la nature du problme rencontr -de hirarchiser les difficults Avantages : utile pour faire des comparaisons </li> <li> Page 19 </li> <li> 19 Retenir Les diffrentes mthodes dvaluation sans utilisateurs Jugement dexperts Inspection heuristique (critres) Revue de conception (scnarios) Au moins un jeu de critres ergonomiques Par exemple ceux de lINRIA Exercez-vous tudier les interfaces que vous utilisez du point de vue utilisabilit et faites-vous des catalogues </li> <li> Page 20 </li> <li> 20 Take home messages (partie 1) Mthodes dvaluation sans utilisateurs Indispensables en cours de conception valuer les maquettes et prototypes Rapides, pas chres et efficaces Permettent dliminer les erreurs de conception de type amateur En projet valuation heuristique (inspection avec un jeu de critres) Revue de conception (scnarios) Mthodes dvaluation avec utilisateurs Indispensables pour les problmes lis au domaine, lactivit, aux usages </li> <li> Page 21 </li> <li> 21 Mthodes dvaluation Retenir Mthodes dinspection Des gens expriment une opinion Tests utilisateurs Des utilisateurs accomplissent une tche </li> <li> Page 22 </li> <li> 22 valuation des logiciels interactifs (2) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Mthodes impliquant les utilisateurs Cours 5 (partie 2) </li> <li> Page 23 </li> <li> 23 valuation Cours 5.1 : valuation sans utilisateurs valuer ? Mthodes dinspection Cours 5.2 : valuation avec utilisateurs Tests avec utilisateurs Les mthodes Recueil de donnes Quelles mthodes choisir ? </li> <li> Page 24 </li> <li> 24 Tests dutilisabilit Quest-ce que cest ? Exprimentations pour obtenir des informations sur un problme de conception Quand ? Tout au long du cycle de conception En savoir plus ? En ligne sur le site du cours : Cours de N. Mandran (IHM2009) Cours de W. Mackay et M. Beaudoin Lafon Cours de A. Giboin Van Duyne et al. 2006, annexe A, B A la bibliothque A. Boucher 2009, chapitres 9 et 11 E. Brangier et al. 2003, chapitre 5 </li> <li> Page 25 </li> <li> Comment ? A lorigine mthodes de psychologie exprimentale protocoles et des analyses statistiques rigoureuses Maintenant techniques plus lgres pas de certitudes scientifiques informations qualitatives ou quantitatives indispensables la conception Principe simple : Trouver des utilisateurs tudier comment ils utilisent le produit et recueillir des donnes Analyser les donnes et en dgager des dcisions 25 </li> <li> Page 26 </li> <li> 26 Les diffrentes mthodes Exprimentations contrles Quasi-exprience tude de cas tudes de terrain (ergonomiques, ethnographiques) valuation cooprative (Giboin) </li> <li> Page 27 </li> <li> 27 valuation cooprative (Giboin) Mthode conue par des ergonomes pour tre mise en uvre par des non ergonomes (informaticiens) Objectif : dtecter des problmes potentiels pour amliorer la conception informer la conception observer les utilisateurs agir, pas leur demander leur avis tapes 1.Recruter des utilisateurs 2.Prparer lvaluation 3.Raliser lvaluation : interagir avec les utilisateurs 4.Analyser les rsultats de lvaluation 5.Tirer les consquences de lvaluation 6.Rdiger le compte rendu de lvaluation </li> <li> Page 28 </li> <li> 28 Recruter des utilisateurs Dimensions des utilisateurs Statut, niveau dexprience, prfrence Typologie des utilisateurs Occasionnel, intensif, rpt Nombre dutilisateurs Entre 1 et 5 chaque itration Recrutement Annonces, financement, autorisations </li> <li> Page 29 </li> <li> 29 Prparer lvaluation Dfinir les tches : 1.Reprsentatives des tches relles 2.Permettre une exploration minutieuse de linterface Rdiger une feuille de tches effectuer par lutilisateur Donne lutilisateur au dbut de la sance Tches prcises Contre Ex : Faites ce que vous faites normalement Ex : Inscrivez-vous en ligne au Master Tches ralisables avec le prototype Prparer une grille dobservation avec les points que vous voulez observer </li> <li> Page 30 </li> <li> Exemples/contre-exemple de tches Armoire pharmacie lectronique Exemple : Vous revenez de chez le pharmacien avec les mdicaments de lordonnance de votre bb de 6 mois et du renouvellement de vos mdicaments contre la tension et le cholestrol Voici les deux ordonnances et le sac de mdicaments. Rentrez ces mdicaments dans la pharmacie lectronique Contre-exemple : Cliquez sur saisir les donnes ; choisir le nom du mdicament dans la liste droulante 30 </li> <li> Page 31 </li> <li> 31 Conseils noncer clairement les tches De prfrence dans un scnario Apporter des accessoires de la vie courante valuer le temps ncessaire Dcider d'un temps maximum pour chaque tche Prparer des questions Distinguer dcouverte et utilisation courante Double examen des tches importantes Tester la prise en main puis tester une nouvelle fois en fin de sance Livrable 3.1 madresser la feuille de tches que vous envisagez de communiquer aux utilisateurs </li> <li> Page 32 </li> <li> 32 Vrifier 1.Les tches choisies sont-elles ralisables l'aide du prototype ? 2.Les tches amnent-elles l'utilisateur se centrer sur les parties de l'interface qui intressent ? 3.Combien de temps est allou pour chaque utilisateur ? 4. combien estimez-vous le temps ncessaire chaque utilisateur pour raliser les tches ? 5.Le temps imparti dpasse-t-il d'au moins 50 % le temps ncessaire pour raliser les tches ? 6.L'nonc des tches est-il suffisamment clair pour un utilisateur qui dcouvre ? 7.Lnonc est-il trop directif ? </li> <li> Page 33 </li> <li> 33 Avant lvaluation Vrifiez que tout est en place Le prototype est-il prt ? Avez-vous test vous-mme la feuille de tches pour la vrifier ? Lenvironnement est-il tranquille ? Le matriel est-il prt pour enregistrer ce que dit lutilisateur ? Ce quil fait ? Vrifiez le fonctionnement Chronomtre ? Une feuille prformate est-elle prte pour prendre des notes ? Liste des questions poser ? Phrase pour accueillir lutilisateur ? </li> <li> Page 34 </li> <li> 34 Droulement (1/2) Introduction (5 min) Pourquoi valuer, pourquoi vous, quelle suite Prsentation du droulement de lvaluation (3 min) Donner la feuille de tches, lui demander de commenter voix haute ses actions Scnario de tches pour lexploration de lactivit (60 min maxi) Debriefing avec lutilisateur Debriefing sans lutilisateur Observations et prise de notes sur les commentaires, le comportement, les ractions, linteraction chronomtrer ou compter (erreurs, clics, mouvement de la souris, soupirs, sourires ) ou filmer </li> <li> Page 35 </li> <li> 35 Droulement (2/2) Debriefing (10 min) Fonctionnalit non couvertes, points positifs et ngatifs Conclusion (10 min) Points forts, points faibles, ce quil faut imprativement garder/changer Listes des difficults et propositions de solutions Questions spcifiques Remercier Temps maxi : 1 h 30 utilisateur </li> <li> Page 36 </li> <li> 36 Conduite de la sance Mode informel (discussion libre) Pas de feuille de consignes Si possible 2 observateurs : Un conduit lentretien Lautre prend des notes et soccupe de la technique Statut des utilisateurs : valuateurs et non sujets dexprience Ce nest pas le participant qui est valu mais le systme </li> <li> Page 37 </li> <li> 37 larrive des utilisateurs Mettez les participants en confiance Prsentez vous et noncez vos objectifs Regarder en quoi le systme leur facilite ou leur complique la tche, peut les induire en erreur Et non relever leurs erreurs Garantissez lanonymat et la scurit Dcrivez les quipements et la faon dont vous allez tudier et utiliser les donnes recueillies Prcisez au participant quil peut tout moment arrter lobservation ce quil doit faire (penser haute voix, chercher de laide etc., la tche ou le scnario) Demander sil y a des questions pralables Dmarrer lenregistrement (autorisation) </li> <li> Page 38 </li> <li> 38 Votre attitude Entretien de type apprenti/matre Lutilisateur est lexpert qui vous explique ce quil fait Laisser parler les utilisateurs tre attentif ce qui se passe Encourager les utilisateurs parler voix haute pendant qu'ils utilisent le systme Demander aux utilisateurs de commenter en diirect ce qu'ils font Poser des questions Interdiction de Suggrer -sauf sur demande expresse de lutilisateur perdu Critiq...</li></ul>

Recommended

View more >