Les différentes méthodologies d’évaluation en IPM
Cours Ergonomie des Interactions Personne-Machine
17 novembre 2009
Mireille Bétrancourt - TECFA - FPSE
TECFATechnologies pour la
Formation et l’Apprentissage
Plan de la séance
• Présentation des groupes 14, 15, 16• Fin de la présentation de la semaine dernière• Présentation des différentes méthodes de
test de l’utilisabilité• Exercice test utilisateur
Comment évaluer l’utilisabilité ?
Méthodes d’évaluation du site de la FPSE ?
Prise en main vs. Utilisations régulièreTâches simulées vs. Réelles, en contexte
Différentes méthodes selon l’objectif
Enquêtes - Observation de terrain
Obtenir des informations sur ce que les utilisateurs pensent du système, en attendent, ou ce qu’ils en font réellement.
Objectif :
Caractéristique :
Porte sur l’usage et l’utilisation sur le terrain
Enquêtes - Observation de terrain
représentation
Ce que j’en sais ou crois que j’en sais
attitudes
Ce que j’en pense, ce que j’aime ou non…
pratiques effectives
Ce que je fais réellement avec le système…
Trois dimensions :
Enquêtes - Observation de terrain
représentation
attitudes
pratiques effectives
observation
entretiens
« traçage »
questionnaires
focus groups
Approches par inspection experte
Vérifier l’utilisabilité de l’interface à partir de connaissances expertes générales sur les recommandations ergonomiques
Objectif :
Caractéristique :
Doit être faite par des experts en ergonomie des IPM, mais ayant une connaissance du contexte
Approches par inspection experte
Facilité d’apprentissage
Efficience
Prévention des erreurs
Satisfaction
Par fonctionnalité
Evaluation selon grilles heuristiques*
Cognitive walkthrough
* Voir présentation des grilles au cours du 25 novembre
Approches par test utilisateurs
Vérifier que le système soit utilisable pour les utilisateurs (novices en général)
Objectif :
Caractéristique :
Doit être faite par des « vrais utilisateurs » à partir de scénarios d’usage réels
Approche par test utilisateurs
Verbalisation provoquée
Auto confrontation
Suivi ethnographique
Approche « clinique »
Test de reconnaissance
Test oculomoteur
…
Test de scénarios
Approche« expérimentale »
Test de scénarios (usability testing)
1. Construction de scénarios authentiques d’après analyse de l’activité et analyse du système
2. Recrutement des utilisateurs :
3. Passation du test utilisateurs
1. Expliquer
2. Faire passer les tâches
4. Catégorisation de problèmes, diagnostic et proposition de remédiations.
Voir exercice sur : http://tecfa.unige.ch/tecfa/teaching/LMRI41/projet_phase4.html
• Représentatifs du public-cible (si possible)– Prendre les vrais utilisateurs, « pas leurs représentants »
• Echantillon des types d’utilisateurs
• Contactés par un interne de l’entreprise qui explique les enjeux
• Combien de sujets– Dépend de l ’homogénéité de la population : 5 par type
de cibles
2. Recruter les sujets
• Le but n’est pas de vous évaluer• Il n’y a pas de bonne ou mauvaise réponse• Ce test va durer … minutes• Puis-je vous enregistrer...• PENSEZ TOUT HAUT• PENSEZ TOUT HAUT• PENSEZ TOUT HAUT• PENSEZ TOUT HAUT• PENSEZ TOUT HAUT… hmm… qu ’est-ce que vous êtes en train de faire ?• PENSEZ TOUT HAUT• PENSEZ TOUT HAUT• PENSEZ TOUT HAUT• PENSEZ TOUT HAUT
3. Tester 3.1. Expliquer
• Règles classiques de l ’entretien :– Ecouter > Parler– Poser des questions sur son activité – Poser des questions neutres– Fournir un feedback neutre – Respecter les silences, laisser un petit moment après chaque tâche– Rebondir sur les points intéressants, ne pas suivre rigidement un canevas
• Traiter l’utilisateur comme un expert dans son métier, pas comme un cobaye
• Ne pas se laisser placer dans un rôle d’expert par l’utilisateur• Arrêter le test en cas d’échec répétitif• Prévoir un entretien post-test
3. Tester 3.2. Ecouter
• Diagnostic des problèmes– Description, Citations– Catégorisation selon grille (cf. cours du 8 décembre)– Diagnostic– « Statistiques »
• Propositions de solutions– Argumentées– Bon marché / dispendieuses– Court / Long terme
• Critères d’évaluation– Utilisation : efficacité, efficience, apprentissage, satisfaction– Utilité– Usages
4. Résultats
Analyse de l’activité
Test utilisateurs
Analyse du système
Contenu, organisation, fonctionnalités, outils d’aidePb d’utilisabilité « supposés »
Scénario d’utilisation
Contexte global d’utilisation
Un ou plusieurs exemples
de tâches authentiques
Pb d’utilisabilité observés :Diagnostic, propositions de remédiation
1 entretien
5 utilisateurs / -trices d’un même public cible
Vous êtes ici