Interfaces et Scnarisation (COM2571)

valuation dun systme interactifTests dutilisabilitInterfaces et Scnarisation (COM2571)17 septembre 2013Grgory Petithttp://lrcm.com.umontreal.ca/greg/COM2571/1La semaine dernire On a vu :

La notion dutilisabilit

Des critres ergonomiques

La mthode dvaluation heuristique par des expertsVoila Lhomme adapt lordinateur!!!

Et donc on fait quoi aujourdhui?valuation et processus de recherche et dveloppement (R&D)Dfinir une problmatiqueMthodes dvaluation de lutilisabilitvaluation heuristiqueTests utilisateursExemple avec les non-voyantsAtelier

valuation et processus de recherche et dveloppement (R&D)PrjugsLe dveloppement et lvaluation, cest cher!

Je connais le domaine je sais que jai fait un truc bien!

On a test loutil en interne

Je sais lutiliser donc tout le monde peut lutiliser

On a fait passer un questionnaire et toute le monde aime a

Personne naime les critiques

Processus de R&DInnovationAnalyse des besoinsObservationsEntrevuesAnalyse de donnes prcdentesAnalyse des fonctionnalitsPrototypevaluationvaluation heuristiquevaluation empirique Tests techniquesTests dutilisabilitDfinir une problmatique but de lvaluationBut de lvaluationToujours prciser les objectifs de lvaluation en premier!

valuer un systme adapt aux activits et au contexte?

Quelle est la valeur ajoute du systme?

Comment mettre en place lvaluation?Rechercher les autres systmes, les usagers, les thories, les expriences qui se rapportent au systme valuer.Comparer un systme un autre ou une version antrieure observer les diffrencesUtilisabilit critres ergonomiquesImpact notion dutilit (apprentissage, vente, change) quoi a sert, qui, pourquoi? Diffrents usagers, attentesProblmatiqueUne problmatique doit permettre de correctement rpondre aux questions suivantes :

Pourquoi met-on en place une valuation?

Que veut-on valuer?

De quelle faon allons-nous faire lvaluation?Mthodes dvaluation de lutilisabilitMthodes dvaluationvaluation analytique ou heuristique

Tests utilisateursaussi appels valuation empirique avec des usagers

valuation analytiqueBase sur lanalyse des tches ou des activits - GOMS

Parcours cognitif (Cognitive walkthrough)

valuation heuristique des principes ergonomiques (par des experts) dj vu!

valuation base sur lanalyse des tches et des activits GOMSAussi appel analyse hirarchique des tches

Utile pour analyser un systme dvelopper ou des activits existantes faire avant le dveloppement!

Utile pour dvelopper la documentation

structure de tche structure dinterface

valuation base sur lanalyse des tches et des activits GOMSGOMS = Goal Operators Methods and Selection rulesButs : intentions, mmoire de la tche faire, structure explorer (Cas dutilisation) pourquoi?Oprateurs : lments d'actions, composantes, effets, input, output quoi?Mthode: organisation de la tche, des buts et des oprateurs, suite dactions comment?Rgles de slection: procdure gnrale de choix entre les mthodes comment?

Lexemple Comment ouvrir un fichier ?But: Ouvrir un fichier pour lditerOprateurs: Bureau, Dossier, Souris, ClavierMthodes: dplacements et clics souris, recherche au clavierRgles: Si je suis dans le bon dossier, dans un dossier proche ou ai accs raccourci sur mon bureau, prfrer la manipulation souris Si je suis dans un dossier loign, prfrer la recherche16Application du modle GOMSUtile lorsque la tche est organise sous formes dtapesDcrire le comportement idal de la tchePermettre de caractriser les diffrences entre modles usagers et tches prvuesPermet de distinguer les novices, les experts et les mthodes efficaces pour la formationPermet de choisir des versions ou options dans le systmePermet de considrer des variables comme la distance des lments, le nombre doprations, le temps de celles-ci, la difficult, l'imbricationPeut servir dcrire un systme priori et le valider sur papierParcours cognitifApproche des scnarios

Dterminer les squences dutilisationIdentifier les buts et extraire les tats par lesquels passeront les usagersExplorer les multiples chemins possibles

valuer lutilisabilit des squencesParcours cognitifPour chaque action dans la squence se mettre dans la peau dun usagerQue veut faire lusager ?Laction requise est-elle suffisamment vidente ?Lusager reconnat-il que laction rpondra ses buts ?Lusager reconnat-t-il que la rponse du systme rpond ses besoins, quil a fait le bon choix.Evaluation heuristiqueVoir cours prcdentTests utilisateursProtocole exprimentale

Mthodologie danalyse des observations

Mthodologie danalyse des traces

Utilisation des questionnairesProtocole exprimentalPrparation

Choix des sujets

Installation

Droulement Protocole exprimental prparationDfinir la problmatique

Dfinir les tches

Trouver un contexte rel dactivitProtocole exprimental - ProblmatiqueLa problmatique permet didentifier le but de lvaluation

valuation de lexprience globale rencontre sur le site?

valuation de certaines fonctionnalits seulement?

valuation dans un contexte dutilisation spcifique (mobile?) Protocole exprimental - TchesLes tches permettent de rpondre la problmatique

Pas un nombre standard de tches

valuer la dure moyenne de chaque tcheViser un temps total dune heure pour lexprimentation

Identifier les critres de russite de chaque tcheToutes les tches doivent tre ralisablesProtocole exprimental Contexte dactivitIndiquer dans le scnario de dpart quel est le contexte rel dactivit

Exemples :Votre contrat de tlphonie mobile expire bientt, vous souhaitez changer de tlphone et trouver un forfait plus avantageux.Vous souhaitez partir en vacances au soleil le mois prochain.Vous tes fan du Canadien de Montral et voulez consulter les dernires informations concernant cette quipe.Protocole exprimental Choix des sujetsEchantillon reprsentatif ou au hasard?

Mesures rptes?

Schma contrebalanc?

GroupeTemps 1Temps2ACondition 1Condition 2BCondition 2Condition 1Protocole exprimental InstallationTester si tout fonctionne :VidoAudioLapplication valuerEtc.

Parcourir de nouveau la consigneProtocole exprimental DroulementFormulaire de consentement

Consigne

Pratique de la verbalisation (think aloud)

ExprimentationIntervenir le moins possibleObserverRappeler quil faut verbaliser

QuestionnairesObservation Il faut noter :Actions de lutilisateur

Commentaires des usagers (incluant les questions poses)

Temps mis pour raliser une tche

Erreurs commises

Utilisation de laide

Rponses physiques de lutilisateur (expressions faciales)

Diagnostic des problmes ergonomiques sur le vif

Suggestions sur le vif

Laboratoire de test : LORIT

Laboratoire de test : LORIT

Supervision:Voir les postes et les camrasContrle des postes Contrle des camrasContrle des liens avec InternetContrle des enregistrements

Magicien dOz simuler les interactions dun systme en dveloppement, aide, questions suggestions. Laboratoire de test : Bell Web

Observation : Eye TrackingEye Tracking : suivi oculaire

iViewX (SMI)

ASL

Tobii T60Observation : Eye TrackingUn Eye Tracker calcule la distance entre liris et un reflet cornen

Observation : Eye Tracking

Observation : vers les motions?

Kismet

Observations : mesures physiologiquesRythme cardiaque

Sudation

Temprature

Mthodologie danalyse des observationsTranscription de vidos

Codage des observations et des commentaires des usagers selon une grille ergonomique

faire ensuite la synthse selon les grandes catgoriesTranscription de vidosTempsStatus du systmeActions et commentaires de lutilisateurProblmes et autres remarques23:00Tche 1. Connectez-vous votre compte23:15> AccueilLutilisateur essaie de trouver le lien pour se connecter ... Je pensais le trouver quelque part sur la gaucheProblme: Le modle mental de lutiilisateur propos de la localisation de la fonctionnalit permettant de se connecter ne correspond pas au modle du systme.Problme : La fonctionnalit pour se connecter nest clairement visible depuis le coin en haut droite.23:59Il trouve finallement le lien. Oh! Ctait chach ici!24:10> Mon compteLusager remplit son nom dutilisateur et son mot de passe sans problme25:00Dure de la tche : 2:00Rsultat:Succs35:10Tche 2. Analyse des tracesNombre de visites dans les diffrents environnements

Temps pass dans les diffrents environnements

Contexte du temps pass (en revenant ou en avanant, en venant do ?)

Erreurs, appel laide

Statistiques descriptives sur les donnes, tableau des frquences, des moyennes, pourcentages

Tests de comparaison entre les groupesQuestionnaireIl peut y avoir un pr-questionnaire (ge, habitudes de lutilisateur, )

Sinon, le questionnaire a lieu aprs, mais le plus vite possible!

Questions adaptes et claires

Questions fermes au dbut, puis ouvertes

Compltement daccord pas du tout daccord VS. Echelle de Likert 1 (moins) X (plus) avec 0 = ne sait pas VS. Smileyometter de Read

QuestionnairePr-tester les questions et modifier celles qui ne sont pas claires ou inutiles, lorsque tout le monde a la mme rponse

Il vaut mieux viter les questions et les remplacer par des affirmations positives en demandant lutilisateur sil est daccord

Le logiciel est-il difficile utiliser? Le logiciel est facile utiliser Lutilisation du logiciel est : 1 2 3 4 5 (1 = trs difficile; 5 = trs facile)

Type de questionQuestions fermesListe cocherSmileyometterchelle de Likert (0 X) (X = 5 ou 7)Rang par exemple, ordonner les problmes

Questions ouvertesPrincipaux problmes et solutionsCe que vous avez prfrProposition damliorations

QuestionnaireAttention leffet Hawthorn!!!

Les utilisateurs ont la fcheuse habitude de vouloir faire plaisir lexprimentateur!

Il faut donc toujours leur prciser quils ne doivent pas hsiter tre compltement transparent dans leurs commentaires. Indiquer que le modrateur na pas participer la conception du systme aide.

QuestionnaireNe pas suggrer de rponse

Ne pas embarrasser les utilisateurs

Les questions ne doivent pas tre trop vasives

Les questions ne doivent pas tre trop complexes

Lordre des questions est important

RingnierieRviser globalement latteinte des objectifs du systme, qualifier et regrouper ce qui est le plus significatif

Repenser la structure des activits, de la navigation, la structure de linterface

Faire la liste des corrections apporter au niveau du contenu textuel et non-textuel

Rviser systmatiquement les crans, les botes de dialogues, les commandes et corriger en assurant le respect des critres ergonomiques

Dire ce qua apport lexprimentation et les prochaines actions faire

RingnierieEssayer de proposer une solution globale

Changer linterface rapport trs structur

Proposer plus de guidage pour les nouveaux utilisateurs

Changer la procdure dutilisation du systme

Etc.ExempleGraphisme tactile lusage des non-voyantsProtocole exprimental Protocole exprimental graphisme tactile Trs (trop) complet car fait pour une recherche Pas parfait (les questions sont orientes)

Rsultats pour ceux que a intresse Articles scientifiques sur le site http://lrcm.com.umontreal.ca/greg/publi.htmlAtelierAtelier valuation dAmazonCe quon veut valuer :Trouver facilement ce quon cherchetre correctement conseill dans les achatsGrer facilement le panier dachat

Identifier vos types dutilisateur

Prparez la consigne (avec le contexte) et quelques phrases pour encourager la verbalisation

Choisissez des tches typiques permettant de rpondre la problmatique (dure moyenne 1h)

Questionnaire - Prparez des questions selon la problmatique

Faire une grille dobservationDes questions???

Merci de votre attention!

A la semaine prochaine!gregory.petit@umontreal.cahttp://lrcm.com.umontreal.ca/greg/COM2571/