Upload
leonie-mary
View
103
Download
1
Embed Size (px)
Citation preview
L’évaluation coopérative des IHM
Alain GiboinINRIA Sophia Antipolis
DESS d'Ergonomie cognitive« Communication Homme-Machine »Aix-en-Provence
Motivation et but du DESS (1)
But de la formation (texte officiel)
Acquérir une compétence de haut niveau dans le domaine de la conception et de l'évaluation des IHM
Pour traiter de façon pertinente (i.e. en tenant compte de l'activité réelle des opérateurs) les divers problèmes liés à la communication Homme-Machine
Motivation et but du DESS (2)
But post-formation (texte officiel)
Interventions dans les secteurs relevant de l'Ergonomie du logiciel
Pour élaborer et tester des maquettes d'interfaces pour des systèmes à vocations diverses
Pour évaluer et corriger les interfaces existantes
But de la présente intervention
Décrire, appliquer et discuter la méthode d’évaluation coopérative des IHM,
une méthode conçue pour des informaticiens par des psychologues spécialistes des IHM
Méthodes d’évaluation
Méthodes étudiées dans le cadre du DESS ?
Méthodes d’évaluation
Méthodes « sans utilisateurs » Heuristic Evaluation Cognitive Walkthrough
Méthodes « avec utilisateurs » Cooperative Evaluation
Evaluation coopérative : Présentation
Méthode originaleMéthode adaptée pour des étudiants
en informatique
Présentation : méthode originale
Qu'est-ce que l’« évaluation coopérative » ? Auteurs : Monk, Wright, Haber et Davenport (1993)
Définition : « L'évaluation coopérative est une procédure permettant d'obtenir des données sur les problèmes que peut rencontrer un utilisateur de logiciels, de sorte qu'il est ensuite possible d'améliorer ces logiciels. »
Présentation : méthode originale
À qui est destinée cette méthode ? « L'évaluation coopérative peut être
utilisée par des concepteurs ne possédant pas de connaissances spécialisées en ergonomie. »
Présentation : méthode originale
Quand utiliser cette méthode ? « L'évaluation coopérative est le plus utile
pour avoir un retour précoce sur la reconception dans un cycle itératif rapide.
« L'objectif n'est pas de fournir une liste exhaustive des problèmes pouvant être identifiés.
« Il est plutôt d'aider à identifier, avec le minimum d'effort, les problèmes les plus importants à considérer.»
Présentation : méthode adaptée à des étudiants en informatique
Qu'est-ce que l’évaluation coopérative destinée aux étudiants en informatique ? Auteur : A.G. Définition :procédure permettant aux
étudiants de l'ESSI d'obtenir des données sur les problèmes importants que pourraient rencontrer les utilisateurs de leur interface, de sorte qu'il est ensuite possible d'améliorer cette interface.
Méthode originale
Ses étapes Étape 1/ Recruter des utilisateurs Étape 2/ Préparer des tâches à exécuter
par les utilisateurs Étape 3/ Interagir et enregistrer
Méthode originale
Ses étapes Étape 1/ Recruter des utilisateurs Étape 2/ Préparer des tâches à exécuter
par les utilisateurs Étape 3/ Interagir et enregistrer
Méthode originale : 1/ Recruter des utilisateurs
Définir la population cible Par les «dimensions» de l'utilisateur
«Dimensions» de l'utilisateur
Statut Personnel de la bibliothèqueLecteursFournisseursLibrairesMaisons d'édition
Préférences
Niveau d'expérience
1/ Recruter des utilisateurs
Méthode originale : 1/ Recruter des utilisateurs
Définir la population cible Par les «dimensions» de l'utilisateur À l'aide de typologies d'utilisateurs
Exemple : Utilisateurs de documentation électronique (cf. Horton, 1990)
Typologies d'utilisateurs
Utilisateur Information recherchée Type de documentation
Novice Comment utiliser un programmeComment utiliser un ordinateur
Tutoriel (Tutorial)Aide (Help)Tutoriel
Occasionnel Rappel des détails
Comment réaliser de nouvellestâches
MessagesMenusAideTutorielForum électronique
De transfert Différences TutorielMessagesMenus
Expert Caractéristiques avancéesRaccourcis
Manuel de référence enligneAide
Utilisateurs de documentation électronique (cf. Horton, 1990)
1/ Recruter des utilisateurs
Méthode originale : 1/ Recruter des utilisateurs
Nombre d'utilisateurs à recruter Entre 1 et 5 utilisateurs par itération, tôt
dans le processus de conception Sources possibles de recrutement
Sources possibles de recrutement
Popupation cible Source suggérée
Entreprise particulièreServiceGroupe de personnes
S'adresser directement à l'entreprise, auservice ou au groupe
Grand public Passer une annonce dans les journaux
Personnes possédant uneexpérience ou des aptitudesparticulières
Passer par une agence de recrutement
Non connue Élaborer un «profil utilisateur» et recruterdes personnes possédant ce profil
1/ Recruter des utilisateurs
Méthode originale : 1/ Recruter des utilisateurs
Si les utilisateurs recrutés ne sont pas les utilisateurs cibles Ces utilisateurs ont -ils les mêmes
caractéristiques que les utilisateurs cibles ? En particulier (cf. tableau) :
Utilisateurs Utilisateurs cibles
Caractéristiques importantes Connaissance du domaine de la tâche Expérience de l'informatique Aptitude à manipuler les dispositifs
d'entrée (clavier, etc.) Niveau d'éducation Manière d'aborder les situations de
résolution de problèmes
1/ Recruter des utilisateurs
Méthode originale : 1/ Recruter des utilisateurs
Modalités de recrutement Questions a se poser
Une permission pour les utilisateurs est-elle nécessaire ?
Des arrangements administratifs doivent-ils être faits ?
Méthode originale
Ses étapes Étape 1/ Recruter des utilisateurs Étape 2/ Préparer des tâches à exécuter
par les utilisateurs Étape 3/ Interagir et enregistrer
Méthode originale : 2/ Préparer les tâches à exécuter par les utilisateurs
Objectif Préparer une feuille de tâches
Ces tâches doivent être représentatives des tâches réelles des utilisateurs
Elles doivent permettre une exploration minutieuse de l'interface
Méthode originale : 2/ Préparer les tâches
Objectif Préparer une feuille de tâches Caractéristiques de la feuille de tâches
Contenu : liste des tâches que les utilisateurs essaieront de réaliser à l'aide du prototype
La liste sera donnée à l'utilisateur au début de la séance d'évaluation
Méthode originale : 2/ Préparer les tâches
Objectif Préparer une feuille de tâches Caractéristiques de la feuille de tâches Questions à se poser sur les tâches
Objectif
Questions à se poser sur les tâches Les tâches choisies sont-elles réalisables à l'aide du prototype
? Les tâches vont-elles amener l'utilisateur à se centrer sur les
parties de l'interface auxquelles vous vous intéressez ? Combien de temps avez-vous alloué pour chaque utilisateur ? À combien estimez-vous le temps nécessaire à chaque
utilisateur pour réaliser les tâches ? Le temps imparti dépasse-t-il d'au moins 50 % le temps
nécessaire pour réaliser les tâches ? L'énoncé des tâches est-il suffisamment clair pour un
utilisateur novice ?
2/ Préparer les tâches
Méthode originale : 2/ Préparer les tâches
Choses à surveiller pendant la préparation des tâches
Les tâches sont-elles spécifiques ? Exemple de tâche non spécifique
"Réalisez la tâche que vous effectuez normalement."
Exemple de tâche spécifique "Dessinez une maison avec une porte, quatre
fenêtres et une cheminée."
Méthode originale : 2/ Préparer les tâches
Choses à surveiller pendant la préparation des tâches
Les tâches sont-elles spécifiques ? Les tâches sont-elles représentatives ?
En discuter avec les utilisateurs En discuter avec d'autres spécialistes de
l'entreprise
Méthode originale : 2/ Préparer les tâches
Choses à surveiller pendant la préparation des tâches
Les tâches sont-elles spécifiques ?
Les tâches sont-elles représentatives ? Que faire si l'utilisateur ne termine pas la
tâche ou la termine trop rapidement ? Décider d'un temps maximum pour chaque tâche Ajouter des tâches supplémentaires
• Tâches plus simples pour les utilisateurs n'ayant pas terminé
• Autres tâches pour les utilisateurs ayant terminé plus rapidement que prévu
Méthode originale : 2/ Préparer les tâches
Choses à surveiller pendant la préparation des tâches Les tâches sont-elles spécifiques ? Les tâches sont-elles représentatives ? Que faire si l'utilisateur ne termine pas la tâche... ?
Examen des fonctions importantes Double examen
• Examen en début de séance • Examen en fin de séance
Méthode originale
Ses étapes Étape 1/ Recruter des utilisateurs Étape 2/ Préparer des tâches à exécuter
par les utilisateurs Étape 3/ Interagir et enregistrer
Méthode originale : 3/ Interagir et enregistrer
Sous-étapes Avant l'arrivée des utilisateurs À l'arrivée des utilisateurs Pendant la réalisation des tâches «Debriefing»
Méthode originale : 3/ Interagir et enregistrer
Avant l'arrivée des utilisateurs Objectif
Vérifier que tout est en place et complètement opérationnel
Pour cette vérification, utiliser la check-list suivante
Check-list
À vérifier Le prototype est-il prêt à l'utilisation dans un environnement
suffisamment tranquille ? La feuille de tâche est-elle disponible ? Moyen d'enregistrer ce que dit l'utilisateur (magnétophone, micro
connecté à vidéo) ? Moyen d'enregistrer ce que fait l'utilsateur (vidéo, log) ? Carnet ou feuille proforma sur lesquels prendre des notes ? Liste de questions à poser pendant le debriefing ? Avez-vous prévu ce que vous allez dire à l'utilisateur quand il arrive ? Avez-vous manipulé vous-mêmes la feuille de tâches pour préciser ce
à quoi s'attendre ? Avez-vous vérifié le bon fonctionnement des appareils
d'enregistrement ?
3/ Interagir et enregistrer
Méthode originale : 3/ Interagir et enregistrer
À l'arrivée des utilisateurs Principes gouvernant la séance
Conduite de la séance : mode informel (discussion libre sur le système)
Statut des utilisateurs : co-évaluateurs et non sujets d'expérience
Méthode originale : 3/ Interagir et enregistrer
À l'arrivée des utilisateurs Principes gouvernant la séance
Conduite de la séance…Statut des utilisateurs…Indiquer aux utilisateurs ce que l'on attend de
la séance : • observer en quoi le système peut les induire en
erreur ou leur rendre difficiles certaines tâches • et non relever les erreurs qu'ils commettent ou
noter ce qu'ils sont incapables de faire
C'est le système qui est évalué et non l'utilisateur
Méthode originale : 3/ Interagir et enregistrer
À l'arrivée des utilisateurs Actions
Mettre les utilisateurs en confiance Démarrer l'enregistrement de la séance (pour
ne pas oublier) Se présenter
• Qui vous êtes• Objectif de la séance • Souligner que c'est le système qui est évalué et non
l'utilisateur • Expliquer la philosophie de la coopération évaluative
Méthode originale : 3/ Interagir et enregistrer
À l'arrivée des utilisateurs Actions (suite)
Expliquer la coopération évaluative • Décrire la technique • Indiquer à l'utilisateur que ses paroles seront
enregistrées mais qu'elles resteront confidentielles
Présenter la feuille de tâches • Préciser que les tâches ne sont pas un test, mais juste
une manière d'introduire l'utilisateur aux différentes parties du système
Conseil : pour garder son caractère informel à cette étape, conduire cette étape, ne pas rédiger de consigne
Méthode originale : 3/ Interagir et enregistrer
Pendant la réalisation des tâches Impératifs
Laisser parler les utilisateurs S'assurer d'être au courant de ce qui se
passe
Méthode originale : 3/ Interagir et enregistrer
Pendant la réalisation des tâches Impératifs Actions
Encourager les utilisateurs à parler à voix haute pendant qu'ils utilisent le système
• Demander aux utilisateurs de commenter en direct
– ce qu'ils font et – ce qu'ils vont faire
Méthode originale : 3/ Interagir et enregistrer
Pendant la réalisation des tâches Impératifs Actions
Encourager les utilisateurs à parler à voix haute
S'assurer de la (relative) continuité du dialogue
en posant des questions appropriés chaque fois que cela est possible
Pendant la réalisation des tâches
Questions Comment fait-on ça ? Que voulez-vous faire ? Qu'arrivera-t-il si... ? Que vient de faire le système ? Que veut vous dire le système avec ce message ? Pourquoi le système a-t-il fait cela ? À quoi vous attendiez-vous ? Qu'êtes-vous en train de faire maintenant ?
3/ Interagir et enregistrer
Méthode originale : 3/ Interagir et enregistrer
Pendant la réalisation des tâches Impératifs Actions
Encourager les utilisateurs à parler à voix hauteS'assurer de la (relative) continuité du dialogue
Noter chaque occurrence de comportement inattendu et chaque commentaire sur l'utilisabilité du système
Pendant la réalisation des tâches : notations
Définitions Comportement inattendu : quand les utilisateurs font
quelque chose que le concepteur n'a pas prévu. Exemple : L'utilisateur tape une série imprévue de
commandes
Commentaires : commentaires et évaluations subjectifs
(positifs ou négatifs) de l'interface. Exemples : "C'est chouette de pouvoir faire ça sans avoir à retaper
tout." "Ça exige beaucoup d'effort." "Je déteste devoir faire ça deux fois."
3/ Interagir et enregistrer
Pendant la réalisation des tâches : notations
Procédure Faute de temps pour prendre des notes détaillées,
noter l'endroit de la bande magnétique où se trouve le comportement ou le commentaire
et décrire brièvement (si possible en un mot) ce qui est arrivé
3/ Interagir et enregistrer
Pendant la réalisation des tâches : notations
Avertissement Ne pas laisser la prise de notes interférer
avec l'objectif prioritaire de créer un dialogue avec l'utilisateur
Arrêter la prise de notes si cela arrive
3/ Interagir et enregistrer
Pendant la réalisation des tâches : notations
No. Chiffre compteur Comportement inattendu oucommentaire
1
2
...
11
12
3/ Interagir et enregistrer
Exemple de pro-forma pour la prise de notes
Méthode originale
Ses étapes Étape 1/ Recruter des utilisateurs Étape 2/ Préparer des tâches à exécuter
par les utilisateurs Étape 3/ Interagir et enregistrer
Méthode originale : 3/ Interagir et enregistrer
«Debriefing» Principe
Discussion avec l'utilisateur lorsque ce dernier a terminé toutes ses tâches
• Discussion sur ce que chacun pense être les problèmes d'utilisabilité les plus importants du système
• Discussion sur la technique elle-même d'évaluation coopérative
Des commentaires très intéressants peuvent surgir de cette phase
Méthode originale : 3/ Interagir et enregistrer
«Debriefing» Questions de référence sur le prototype
Quelle est la plus grande qualité du prototype ?
Quel est le plus grand défaut du prototype ? Qu'est-ce qui a le plus besoin d'être changé ? Avez-vous trouvé les tâches faciles à réaliser
? Questions spécifiques sur le prototype
Méthode originale : 3/ Interagir et enregistrer
«Debriefing» Questions de référence sur l’évaluation
coopérativeL'enregistrement vous a-t-il gêné ? Est-ce que les tâches étaient semblables à
ce que vous avez l'habitude de faire ? Avez-vous trouvé le prototype réaliste ?
Méthode originale : 3/ Interagir et enregistrer
«Debriefing» Utilisation des questions de référence
Les photocopier et les utiliser comme « déclencheurs »
Ces questions étant générales, les compléter par des questions plus spécifiques de son cru sur des aspects plus particuliers du système
• sur les noms de menus • sur les valeurs par défaut • etc.
Méthode originale : 3/ Interagir et enregistrer
«Debriefing» Formulaire complémentaire
Questionnaire (simple) à remplir par les utilisateurs
Cas d'utilisation : • Utilisateurs nombreux • Besoin d'avoir un retour plus formel
Méthode originale : 3/ Interagir et enregistrer
Second «Debriefing» Principe
Revoir les utilisateurs une seconde fois (seuls ou en groupe)
• pour clarifier son interprétation des problèmes importants d'utilisabilité et
• discuter des changements possibles à faire sur le système
Evaluation coopérative
Méthode originaleMéthode adaptée pour des étudiants
en informatique
Méthode adaptéeaux étudiants en informatique
Objectif Situation de conception
Réaliser une première évaluation des maquettes d'interface construites à l'issue des premières séances de TP
Situation de reconceptionÉvaluation des interfaces à reconcevoirÉvaluation des maquettes
Méthode adaptée aux étudiants en informatique
Ses étapes Étape 1/ Préparer l'évaluation Étape 2/ Réaliser l'évaluation Étape 3/ Analyser les résultats de
l'évaluation Étape 4/ Tirer les conséquences de
l'évaluation Étape 5/ Rédiger le compte rendu de
l'évaluation
Méthode adaptée aux étudiants en informatique
Ses étapes Étape 1/ Préparer l'évaluation Étape 2/ Réaliser l'évaluation Étape 3/ Analyser les résultats de
l'évaluation Étape 4/ Tirer les conséquences de
l'évaluation Étape 5/ Rédiger le compte rendu de
l'évaluation
Méthode adaptée : 1/ Préparer l’évaluation
Sous-étapes Former les équipes d'évaluation (1.1) Définir les tâches (1.2) Préparer des questions (1.3) Préparer des feuilles de notation (1.4)
Méthode adaptée : 1/ Préparer l’évaluation
Former les équipes d'évaluation (1.1) Constitution des équipes
Chaque équipe comporte• les évaluateurs proprement dits et • un utilisateur
Les évaluateurs appartiennent au groupe qui a conçu la maquette à évaluer
L'utilisateur provient d'un autre groupe
Méthode adaptée : 1/ Préparer l’évaluation
Former les équipes d'évaluation (1.1) Répartition des rôles
Les évaluateurs se répartiront ainsi les rôles qu'ils joueront lors de la séance d'évaluation :
• Un «directeur» de l'évaluation – Celui-ci supervisera la séance d'évaluation. – Il va guider le sujet et l'aider dans la réalisation
de sa tâche (en répondant par exemple aux questions qu'il se pose).
• Des «observateurs» – Ceux qui observeront l'utilisateur au cours de la
séance d'évaluation (prise de notes, etc.)
Méthode adaptée : 1/ Préparer l’évaluation
Définir les tâches (1.2) Définir deux ou trois tâches
Tâches à réaliser à l'aide de la maquette Tâches à déterminer en fonction des maquettes réalisées Exemples :
• Rechercher une référence précise dans la base documentaire
• Envoyer un document au lecteur L avec accusé d'envoi au service S
• «Retrouver l'ISBN (International Standard Book Number) d'un livre que l'ordinateur aura tiré au hasard» (Tâche de l'expérience de dialogue Homme-Machine sur le Web, Projet HALPIN)
Méthode adaptée : 1/ Préparer l’évaluation
Définir les tâches (1.2) Préparer une liste des tâches définies
Liste à remettre à l'utilisateur lors de la séance
Préparer une consigneConsigne à lire à l'utilisateur lors de la
séance
Méthode adaptée : 1/ Préparer l’évaluation
Préparer des questions (1.3) Préparer des questions à poser pendant
la réalisation des tâches Exemple : cf. les questions de Monk et al.
Préparer des questions à poser après la réalisation des tâches Exemple : cf. les questions de Monk et al.
pour le debriefing
Méthode adaptée : 1/ Préparer l’évaluation
Préparer des feuilles de notation (1.4) Fonction des feuilles de notation
Noter les observations au cours de l'évaluation Recueillir des informations sur la pertinence
• du modèle conceptuel - modèles de formulaire - modèle de tâche
• et de l’image de l'interface - menus- fenêtres - dialogues
Méthode adaptée aux étudiants en informatique
Ses étapes Étape 1/ Préparer l'évaluation Étape 2/ Réaliser l'évaluation Étape 3/ Analyser les résultats de
l'évaluation Étape 4/ Tirer les conséquences de
l'évaluation Étape 5/ Rédiger le compte rendu de
l'évaluation
Méthode adaptée : 2/ Réaliser l’évaluation
Sous-étapes Familiarisation (2.1) Réalisation des tâches (2.2) Discussion «post-tâches» (2.3)
Méthode adaptée : 2/ Réaliser l’évaluation
Familiarisation (2.1) Familiariser l'utilisateur avec la
maquette Lui présenter celle-ci et le laisser l'explorer avant de lui présenter
les tâches
Méthode adaptée : 2/ Réaliser l’évaluation
Réalisation des tâches (2.2) Faire réaliser successivement à l'utilisateur
chaque tâche (lire la consigne) L'aider quand il pose une question Lui poser aussi des questions (cf. les questions
préparées) afin qu'il explicite ce qu'il est en train de faire
Noter les réactions, comportements, difficultés et commentaires de l'utilisateur
Méthode adaptée : 2/ Réaliser l’évaluation
Discussion «post-tâches» (2.3) Quand les tâches sont terminées,
discuter avec l'utilisateur de ce qu'il pense de la maquette
lui poser des questions qui ont été préparées ainsi que d'autres questions qui pourront surgir
Méthode adaptée aux étudiants en informatique
Ses étapes Étape 1/ Préparer l'évaluation Étape 2/ Réaliser l'évaluation Étape 3/ Analyser les résultats de
l'évaluation Étape 4/ Tirer les conséquences de
l'évaluation Étape 5/ Rédiger le compte rendu de
l'évaluation
Méthode adaptée : 3/ Analyser les résultats de l’évaluation
Classement des résultats Classer les résultats en termes
d'objets de l'interface, de dialogue, etc.
Méthode adaptée : 3/ Analyser les résultats de l’évaluation
Points positifs et négatifs Faire ressortir
les points positifs et les points négatifs (difficultés, etc.).
Méthode adaptée aux étudiants en informatique
Ses étapes Étape 1/ Préparer l'évaluation Étape 2/ Réaliser l'évaluation Étape 3/ Analyser les résultats de
l'évaluation Étape 4/ Tirer les conséquences de
l'évaluation Étape 5/ Rédiger le compte rendu de
l'évaluation
Méthode adaptée : 4/ Tirer les conséquences de l’évaluation
Modifications à apporter à l'interface À partir des résultats de l'évaluation,
déterminer les modifications à apporter à la maquette
Module d'aide On pourra tirer parti de l'évaluation
pour spécifier le module d'aide à l'utilisation de l'interface
Méthode adaptée aux étudiants en informatique
Ses étapes Étape 1/ Préparer l'évaluation Étape 2/ Réaliser l'évaluation Étape 3/ Analyser les résultats de
l'évaluation Étape 4/ Tirer les conséquences de
l'évaluation Étape 5/ Rédiger le compte rendu de
l'évaluation
Méthode adaptée : 5/ Rédiger les résultats de l’évaluation
Objectif Rendre compte de l'évaluation dans le rapport
d’évaluation Présenter l'état de la maquette avant
l'évaluation Présenter les résultats de l'évaluation Présenter les modifications à apporter à la
maquette à l'issue de l'évaluation Présenter le nouvel état de la maquette
Méthode adaptée : 5/ Rédiger les résultats de l’évaluation
Pour les projets de reconception, ajouter les points suivants : Présenter l'interface à reconcevoir
Présenter les résultats de l'évaluation Présenter les modifications à apporter à l'interface à
l'issue de l'évaluation
Présenter la maquette de la nouvelle interface Présenter les résultats de l'évaluationPrésenter les modifications à apporter à la maquette à
l'issue de l'évaluation
Présenter le nouvel état de la maquette
Méthodes d’évaluation
Méthodes « sans utilisateurs » Heuristic Evaluation Cognitive Walkthrough
Méthodes « avec utilisateurs » Cooperative Evaluation Participatory Heuristic Evaluation
Applications