1 Évaluation des logiciels interactifs M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) partie 1 (Cf

Embed Size (px)

Text of 1 Évaluation des logiciels interactifs M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes...

  • Page 1
  • 1 valuation des logiciels interactifs M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Mthodes dInspection (valuation sans utilisateur) partie 1 (Cf. cours 1 bis) Mthodes impliquant les utilisateurs partie 2
  • Page 2
  • 2 Mthodes dvaluation Mthodes dinspection Des gens expriment une opinion Tests utilisateurs Des utilisateurs accomplissent une tche
  • Page 3
  • 3 Plan du cours 5 valuation des logiciels interactifs partie 1 : valuer ? Votre projet IHM valuation heuristique (septembre) Mise en place dune revue de conception (aujourdhui) valuation cooprative (atelier fin janv.) Mthodes dinspection ? Revue de conception valuation heuristique partie 2 : Mthodes des tests utilisateurs Quelles mthodes choisir ?
  • Page 4
  • valuation et conception itrative (cours de James Landay)
  • Page 5
  • 5 Projet1 : valuer la concurrence Quand ? Moments d'valuation : en amont (sept. Cours 2) Pourquoi ? Objectifs : lister les bonnes et mauvaises pratiques Quoi ? Variables cibles : rapidit de prise en main, temps de saisie des informations, rsum des saisies Comment ? Inspection heuristique (critres, scnarios) valuation cooprative quel cot ? Rapide : quelques heures Bon march
  • Page 6
  • 6 Projet2 : valuer un scnario de conception Quand ? Moments d'valuation : en cours de conception (aujourdhui) Pourquoi ? Objectifs : dtecter des problmes dutilisabilit Quoi ? Un scnario de conception, logique de travail Comment ? Revue de conception (Design Walkthrough) valuation par des pairs quel cot ? Rapide : une heure Bon march
  • Page 7
  • 7 Projet3 : valuer un prototype Quand ? Moments d'valuation : fin dune itration (Fin Janvier) Pourquoi ? Objectifs : tester lutilisabilit Quoi ? Variables cibles : temps de prise en main, nombre de tches compltes/abandonnes, nombre derreurs/hsitation, satisfaction Comment ? valuation cooprative quel cot ? Rapide : quelques heures Assez bon march
  • Page 8
  • 8 valuation : Dfinitions tudier les rapports entre la conception et l'utilisation a priori, formative (conception) identifier ou prvoir les besoins, les scnarios dutilisation, les difficults potentielles ou relles des utilisateurs donner et valuer des ides a posteriori, sommative (usage) caractriser les points forts et les points faibles d'un systme interactif prparer les volutions produire des connaissances
  • Page 9
  • Moments & Objectifs en cours de conception analyse de besoins, comprhension des situations, tude de lexistant slection d'alternatives de conception conception itrative de maquettes/prototypes faisabilit et acceptabilit en cours de ralisation dtection et correction de dfauts, contrle qualit, test de performance avant diffusion tests de dverminage, d'acceptabilit, vrification des performances intgration dans lactivit en cours de diffusion satisfaction, amliorations, incidents, support l'utilisateur, maintenance, image du produit avant d'acheter comparaison de logiciels : technique/utilisabilit
  • Page 10
  • valuer quoi ? Les dimensions d'valuation dpendent des objectifs et du contexte utilit la fiabilit, la qualit technique les temps de rponse utilisabilit la facilit d'apprentissage, la flexibilit, la robustesse lutilisation des fonctions la tolrance aux erreurs la qualit de la documentation et de lassistance la logique du travail les opinions ou les attitudes
  • Page 11
  • valuer comment ? Sans utilisateurs : approche analytique a priori, ne ncessitant pas un systme fonde sur des modles implicites (mthodes dinspection) explicites (formels, approches automatiques) Avec utilisateurs : approche exprimentale (empirique) ncessitant un systme (ou un prototype) recueil de donnes comportementales auprs d'utilisateurs (en situation relle ou en laboratoire) Mthode d'valuation cooprative (cours 5.2) Tests d'utilisabilit, exprimentation contrle (N. Mandrian, W. Mackay)
  • Page 12
  • 12 valuer quel prix ? Temps, argent, comptences Mthodes low cost Culture de lvaluation chez les informaticiens Dtection des gros problmes, pas les problmes subtils Informelles, qualitatives, valuation formative Mthodes scientifiques et rigoureuses Gros projets, projets risques, recherche Informations fiables, quantitatives Quel retour sur investissement pour les tudes dutilisabilit ? (ROI)
  • Page 13
  • Approches analytiques Comparaison avec un "modle de rfrence" (sans utilisateurs) Modles implicites : approches informelles Mthodes dinspection (cours 1) Mthodes low cost Modles explicites : approches formelles (ou semi-formelles) modles prdictifs analyse de tches (KLM et GOMS) modle linguistique (ALG et CLG) modle de complexit cognitive (Kieras et Polson) modles de qualit de l'interface approche cognitive recherche des qualits optimales
  • Page 14
  • 14 Les mthodes dinspection Inventaire jugements dexperts grilles dvaluation revues de conception (design walkthrough) Techniques scnarios heuristiques, des recommandations ou des critres Avantages Pas cher et rapides (~ une journe) Faciles utiliser (dtecter les erreurs flagrantes en 2 4 h) Inconvnients Ne permettent pas de dtecter des erreurs subtiles (lies l'analyse du travail, au contexte)
  • Page 15
  • 15 Combien dexperts ? [Nielsen 1993] % Problmes dtects Nombre d valuateurs 0 12345678910111213 20 40 30 10 50 100 90 80 70 60 valuateurs spcialistes du domaine valuateurs gnralistes valuateurs novices 15 0 12345678910111213 20 40 30 10 50 100 90 80 70 60 valuateurs spcialistes du domaine valuateurs gnralistes valuateurs novices 15 0 12345678910111213 20 40 30 10 50 100 90 80 70 60 valuateurs spcialistes du domaine valuateurs gnralistes valuateurs novices 15
  • Page 16
  • 16 ROI (Return On Investment) problems foundbenefits / cost [Canny 2004]
  • Page 17
  • Revue de conception (Design Walkthrough ) Examen du produit par des pairs (entre 3 et 7) en cours de conception Objectif : identifier des problmes (pas les rsoudre) Dure : limite 1 h (fatigue) 5 rles : Prsentateur : droule un scnario Scribe : note tous les commentaires Modrateur/ Gardien des standards : centre la discussion sur l'utilisation, sur le cahier des charges veille au respect de l'horaire Observateurs : prennent le rle de l'utilisateur, posent des questions, font des remarques ou critiques (constructives) sur l'utilisation
  • Page 18
  • Grilles d'valuation principes valuation d'aprs une liste des proprits d'une bonne interface Notation systmatique sur une chelle de valeur (3 7 points) problmes tat de l'art en ergonomie, diversit des systmes => grille spcifique une application ? interprtation, niveau d'expertise de l'valuateur, cohrence des rponses notation htrognit de ce qui est not : rgle des 80/20 (ou 90/10) ne permet pas -de comprendre la nature du problme rencontr -de hirarchiser les difficults Avantages : utile pour faire des comparaisons
  • Page 19
  • 19 Retenir Les diffrentes mthodes dvaluation sans utilisateurs Jugement dexperts Inspection heuristique (critres) Revue de conception (scnarios) Au moins un jeu de critres ergonomiques Par exemple ceux de lINRIA Exercez-vous tudier les interfaces que vous utilisez du point de vue utilisabilit et faites-vous des catalogues
  • Page 20
  • 20 Take home messages (partie 1) Mthodes dvaluation sans utilisateurs Indispensables en cours de conception valuer les maquettes et prototypes Rapides, pas chres et efficaces Permettent dliminer les erreurs de conception de type amateur En projet valuation heuristique (inspection avec un jeu de critres) Revue de conception (scnarios) Mthodes dvaluation avec utilisateurs Indispensables pour les problmes lis au domaine, lactivit, aux usages
  • Page 21
  • 21 Mthodes dvaluation Retenir Mthodes dinspection Des gens expriment une opinion Tests utilisateurs Des utilisateurs accomplissent une tche
  • Page 22
  • 22 valuation des logiciels interactifs (2) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Mthodes impliquant les utilisateurs Cours 5 (partie 2)
  • Page 23
  • 23 valuation Cours 5.1 : valuation sans utilisateurs valuer ? Mthodes dinspection Cours 5.2 : valuation avec utilisateurs Tests avec utilisateurs Les mthodes Recueil de donnes Quelles mthodes choisir ?
  • Page 24
  • 24 Tests dutilisabilit Quest-ce que cest ? Exprimentations pour obtenir des informations sur un problme de conception Quand ? Tout au long du cycle de conception En savoir plus ? En ligne sur le site du cours : Cours de N. Mandran (IHM2009) Cours de W. Mackay et M. Beaudoin Lafon Cours de A. Giboin Van Duyne et al. 2006, annexe A, B A la bibliothque A. Boucher 2009, chapitres 9 et 11 E. Brangier et al. 2003, chapitre 5
  • Page 25
  • Comment ? A lorigine mthodes de psychologie exprimentale protocoles et des analyses statistiques rigoureuses Maintenant techniques plus lgres pas de certitudes scientifiques informations qualitatives ou quantitatives indispensables la conception Principe simple : Trouver des utilisateurs tudier comment ils utilisent le produit et recueillir des donnes Analyser les donnes et en dgager des dcisions 25
  • Page 26
  • 26 Les diffrentes mthodes Exprimentations contrles Quasi-exprience tude de cas tudes de terrain (ergonomiques, ethnographiques) valuation cooprative (Giboin)
  • Page 27
  • 27 valuation cooprative (Giboin) Mthode conue par des ergonomes pour tre mise en uvre par d