1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5

  • View
    103

  • Download
    0

Embed Size (px)

Text of 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr...

  • Page 1
  • 1 valuation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Mthodes dInspection (valuation sans utilisateur) Cours 5 (partie 1) (Cf. cours 1 bis)
  • Page 2
  • 2 Plan du cours Cours 5 : valuation des logiciels interactifs (partie 1) valuer ? Votre projet IHM valuation heuristique (septembre) Mise en place dune revue de conception (aujourdhui) valuation cooprative (27 janv.) Mthodes dinspection ? Revue de conception valuation heuristiques Cours 5 : valuation des logiciels interactifs (partie 2) Mthodes des tests utilisateurs Quelles mthodes choisir ?
  • Page 3
  • 3 (Rappel) Cours 1 : Facteurs de succs Cycle de conception Conception centre usager Lanalyse des tches et les analyses en contexte de travail usuel Le prototypage rapide Lvaluation constante Conception itrative La qualit de la programmation
  • Page 4
  • valuation et conception itrative (cours de James Landay)
  • Page 5
  • 5 valuer ? Qu'est-ce que l'valuation ? Dfinition : valuer = juger Objectivit ??? Rfrence ? Plusieurs approches : Critres raisonns, modles Quand ? Pourquoi ? Moments d'valuation Objectifs Quoi ? Variables cibles Comment ? quel cot ? Mthodes, techniques Temps, argent
  • Page 6
  • 6 Projet1 : valuer la concurrence Quand ? Moments d'valuation : en amont (sept. Cours 2) Pourquoi ? Objectifs : lister les bonnes et mauvaises pratiques Quoi ? Variables cibles : rapidit de prise en main, temps de saisie des informations, rsum des saisies Comment ? Inspection heuristique (critres, scnarios) valuation cooprative quel cot ? Rapide : quelques heures Bon march
  • Page 7
  • 7 Projet2 : valuer un scnario de conception Quand ? Moments d'valuation : en cours de conception (aujourdhui) Pourquoi ? Objectifs : dtecter des problmes dutilisabilit Quoi ? Un scnario de conception, logique de travail Comment ? Revue de conception (Design Walkthrough) valuation par des pairs quel cot ? Rapide : une heure Bon march
  • Page 8
  • 8 Projet3 : valuer un prototype Quand ? Moments d'valuation : fin dune itration (Fin Janvier) Pourquoi ? Objectifs : tester lutilisabilit Quoi ? Variables cibles : temps de prise en main, nombre de tches compltes/abandonnes, nombre derreurs/hsitation, satisfaction Comment ? valuation cooprative quel cot ? Rapide : quelques heures Assez bon march
  • Page 9
  • 9 valuation : Dfinitions processus pour tudier les rapports entre la conception et l'utilisation a priori, formative (conception) pour identifier ou prvoir les besoins, les scnarios dutilisation et les difficults potentielles ou relles des utilisateurs pour donner et valuer des ides a posteriori, sommative (usage) pour caractriser les points forts et les points faibles d'un systme interactif pour prparer les volutions pour produire des connaissances
  • Page 10
  • Moments & Objectifs d'valuation en cours de conception analyse de besoins, comprhension des situations, tude de lexistant slection d'alternatives de conception conception itrative de maquettes/prototypes faisabilit et acceptabilit en cours de ralisation dtection et correction de dfauts, contrle qualit, test de performance avant diffusion tests de dverminage, d'acceptabilit, vrification des performances intgration dans lactivit en cours de diffusion satisfaction, amliorations, incidents, support l'utilisateur, maintenance, image du produit avant d'acheter comparaison de logiciels : technique/utilisabilit
  • Page 11
  • valuer quoi ? Les dimensions d'valuation dpendent des objectifs et du contexte utilit la fiabilit, la qualit technique les temps de rponse utilisabilit la facilit d'apprentissage, la flexibilit, la robustesse lutilisation des fonctions la tolrance aux erreurs la qualit de la documentation et de lassistance la logique du travail les opinions ou les attitudes
  • Page 12
  • valuer comment ? Sans utilisateurs : approche analytique a priori, ne ncessitant pas un systme fonde sur des modles implicites (mthodes dinspection) explicites (formels, approches automatiques) Avec utilisateurs : approche exprimentale (empirique) ncessitant un systme (ou un prototype) recueil de donnes comportementales auprs d'utilisateurs (en situation relle ou en laboratoire) Mthode d'valuation cooprative (cours 5.2) Tests d'utilisabilit, exprimentation contrle (N. Mandrian, W. Mackay)
  • Page 13
  • 13 valuer quel prix ? Temps, argent, comptences Mthodes low cost Culture de lvaluation chez les informaticiens Dtection des gros problmes, pas les problmes subtils Informelles, qualitatives, valuation formative Mthodes scientifiques et rigoureuses Gros projets, projets risques, recherche Informations fiables, quantitatives Quel retour sur investissement pour les tudes dutilisabilit ? (ROI)
  • Page 14
  • 14 Plan Rappels valuer ? Mthodes dinspection Tests utilisateurs (cours 5.2) Choisir une mthode (cours 5.2)
  • Page 15
  • Approches analytiques l'valuation de l'IHM se fait a priori par comparaison avec un "modle de rfrence" modle qui n'est pas souvent formalis ni explicit on distingue des approches informelles Mthodes dinspection (cours 1) Mthodes low cost des approches formelles (ou semi-formelles) (non tudies ici) modles prdictifs analyse de tches (KLM et GOMS) modle linguistique (ALG et CLG) modle de complexit cognitive (Kieras et Polson) modles de qualit de l'interface approche cognitive recherche des qualits optimales
  • Page 16
  • 16 Les mthodes dinspection Inventaire Les jugements dexperts Les grilles dvaluation Les revues de conception (design walkthrough) Sappuient sur Des scnarios Des heuristiques, des recommandations ou des critres Avantages Pas cher et rapides (de lordre dune journe) Faciles utiliser (dtecter les erreurs flagrantes en 2 4 h) Inconvnients Ne permettent pas de dtecter des erreurs subtiles (lies l'analyse du travail, au contexte)
  • Page 17
  • Jugements d'experts Diagnostic a priori ou a posteriori un ou des experts donnent leur avis sur l'interface (ou le projet) sous la forme d'un rapport ou d'un formulaire Fondements Modle de l'interface non formalis (ni mme explicit) Heuristiques, recommandations ou critres ergonomiques Rsultats Points positifs et ngatifs et leur pondration Prvision de difficults dutilisation probables Informations sur les fonctionnements humains insuffisamment pris en compte Propositions damliorations argumentes et pondres
  • Page 18
  • 18 Jugement dexperts (Inspection heuristique) choisir au moins deux experts (domaine et utilisabilit) technique 1: fonde sur des scnarios jouer un des scnarios technique 2 : fonde sur des critres ou des guides tude systmatique de tous les critres sur chaque cran Procdure commune 1.noter tous les problmes rencontrs 2.analyser les causes 3.proposer des solutions 4.rdiger un rapport
  • Page 19
  • 19 Jugements dexperts Biais : Experts : vue plus gnrale, sources potentielles de dysfonctionnement Novices : difficults matrielles et conceptuelles de bas niveau Biais de focalisation fonctionnement particulier ( e.g. d'utilisateurs novices), sur les "marottes" de l'expert domaine d'expertise (domaine, IHM, graphisme) Intrt Pas cher, rapide et efficace, peut intervenir trs tt dans le cycle de conception Plusieurs experts
  • Page 20
  • 20 Pourquoi plusieurs experts ? Un expert ne dtecte pas tous les problmes Les bons valuateurs trouvent les problmes faciles et les problmes difficiles
  • Page 21
  • 21 Jugements dexperts [Nielsen 1993] % Problmes dtects Nombre d valuateurs 0 12345678910111213 20 40 30 10 50 100 90 80 70 60 valuateurs spcialistes du domaine valuateurs gnralistes valuateurs novices 21 0 12345678910111213 20 40 30 10 50 100 90 80 70 60 valuateurs spcialistes du domaine valuateurs gnralistes valuateurs novices 21 0 12345678910111213 20 40 30 10 50 100 90 80 70 60 valuateurs spcialistes du domaine valuateurs gnralistes valuateurs novices 21
  • Page 22
  • 22 ROI (Return on investment) problems foundbenefits / cost [Canny 2004]
  • Page 23
  • 23 Organiser des expertises Conseils : Au moins trois experts : avis indpendants puis coordonns, voir contradictoires Ergonomes qualifis dau moins trois ans dexprience Leur donner une description de la population des futurs utilisateurs Scnarios, critres ou grille danalyse Attention Ne remplacent pas les utilisateurs
  • Page 24
  • Revue de conception (Design Walkthrough ) Examen du produit par des pairs (entre 3 et 7) en cours de conception objectif : identifier des problmes (pas les rsoudre) dure : limite 1 h (fatigue) 5 rles : Prsentateur : droule un scnario Scribe : note tous les commentaires Modrateur/ Gardien des standards : centre la discussion sur l'utilisation, sur le cahier des charges veille au respect de l'horaire Observateurs : prennent le rle de l'utilisateur, posent des questions, font des remarques ou critiques (constructives) sur l'utilisation
  • Page 25
  • Grilles d'valuation principes valuation d'aprs une liste des proprits d'une bonne interface Notation systmatique sur une chelle de valeur (3 7 points) problmes tat de l'art en ergonomie, diversit des systmes => grille spcifique une application ? interprtation, niveau d'expertise de l'valuateur, cohrence des rponses notation htrognit de ce qui est not : rgle des 80/20 (ou 90/10) ne permet pas -de comprendre la nature du problme rencontr -de hirarchiser les difficults Avantages : utile pour fair