77
1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth [email protected] http://www.math-info.univ-paris5.fr/~delozanne Méthodes d’Inspection Cours 3

1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 [email protected] delozanne

Embed Size (px)

Citation preview

Page 1: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

1

Évaluation des logiciels interactifs

É. Delozanne, Paris 5, [email protected]://www.math-info.univ-paris5.fr/~delozanne

Méthodes d’Inspection

Cours 3

Page 2: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

2

Plan du cours

Vos questions Cours

Évaluer ? Critères ergonomiques ? Méthodes d’inspection ?

Retour sur vos questions Le projet

Évaluation de projets existants Préparations des entretiens et des interviews

Page 3: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

3

Plan du poly

Rappels Évaluer ?

Qu’est-ce ? Quand ? Pourquoi ? Quoi ? Comment ? Critères d’évaluation heuristique Méthodes d’inspection Tests utilisateurs (cours 5) Quelles méthodes choisir ? (cours 5)

Page 4: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

4

(Rappel) Cours 1 : IHM, complexité

Tâche

Conception

Humains Technologie

Organisation et environnement social

Chacun des facteurs influence les autres

Page 5: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

5

(Rappel) Cours 1 : Facteurs de succès

Cycle de conceptionConception centrée usagerL’analyse des tâches et les analyses en

contexte de travail usuelLe prototypage rapideL’évaluation constanteConception itérativeLa qualité de la programmation

Page 6: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

6

(Rappel) Cours 2 : les utilisateurs ?

L’analyse des tâches et les analyses en contexte de travail usuel Travail prescrit/travail réel Techniques

•Entretiens, incidents critiques, observation, magicien d’oz, scénarios, jugements d’experts, revue de conception, maquette et prototype

Page 7: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

7

(Rappel) Cours 1 : CCU

Norme ISO 13407 : Conception Centrée Utilisateur Les 5 principes de la conception centrée utilisateur

Une analyse des besoins des utilisateurs, de leurs tâches et de leur contexte de travail

La participation active des utilisateurs à la conception

Une répartition appropriée des fonctions entre les utilisateurs et la technologie

Une démarche itérative de conception L’intervention d’une équipe de conception

multidisciplinaire

Page 8: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

8

Leçons du cours 4 (en avance)

Talking to users is not a luxury (Gould)Time spent in the early phases pays most dividends

(Landay)Deux problèmes de conception

Conception centrée utilisateur Conception technique

Conception centrée utilisateur en deux niveaux Niveau tâche/activité : interface conceptuelle,

conception globale Niveau écran : conception détaillée

Page 9: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

9

Évaluer ? Qu'est-ce que l'évaluation ?

Définition :• évaluer = juger• Objectivité ??? Référence ?

Plusieurs approches : Critères raisonnés, modéles Évaluer quand ? pourquoi ?

Moments d'évaluation Objectifs

Évaluer quoi ? Variables cibles

Évaluer comment ? à quel coût ? Méthodes, techniques Temps, argent

Page 10: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Définitions (début)évaluation en Génie Logiciel

système = solution logicielle et matérielle les plans qualité

• fournissent des métriques pour le respect des normes de programmation (portabilité, maintenance etc.)

• ne fournissent aucune méthode pour s'assurer de l'utilisabilité

évaluation ergonomique système interactif = { utilisateur(s), artefact(s) } s'intéresse à l'efficacité des systèmes humains-

machines à l'utilisabilité/utilité du système interactif

Page 11: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

11

Définitions (fin)

Évaluation : processus pour étudier les rapports entre la

conception et l'utilisation Évaluation a priori, formative (conception)

pour identifier ou prévoir les besoins, les scénarios d’utilisation et les difficultés potentielles ou réelles des utilisateurs

Évaluation a posteriori, sommative (usage) pour caractériser les points forts et les points

faibles d'un système interactif

Page 12: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Moments & Objectifs d'évaluation

en cours de conception analyse de besoins, compréhension des situations, étude de

l’existant sélection d'alternatives de conception conception itérative de maquettes/prototypes faisabilité et acceptabilité

en cours de réalisation détection et correction de défauts, contrôle qualité, test de

performance avant diffusion

tests de déverminage, d'acceptabilité, vérification des performances

intégration dans l’activité en cours de diffusion

satisfaction, améliorations, incidents, support à l'utilisateur, maintenance, image du produit

avant d'acheter comparaison de logiciels : technique/utilisabilité

Page 13: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Utilité et utilisabilité (1)

Senach Utilité

• permet à l’utilisateur d'atteindre ses buts de haut niveau

• fonctionnalités Utilisabilité

• la possibilité d’atteindre ses buts, le confort d'utilisation• règles de dialogue, de navigation

A Guide to usability santé, sécurité, efficacité, plaisir

Schneiderman : temps d'apprentissage, vitesse d'exécution des tâches,

taux d'erreurs, facilité de rétention dans le temps, satisfaction subjective

Page 14: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

14

Utilisabilité (2)

norme ISO 9241-11 (1998) : l’utilisabilité « est le degré selon lequel un produit

peut-être utilisé • par des utilisateurs identifiés, • pour atteindre des buts définis • avec efficacité, efficience et satisfaction • dans un contexte d’utilisation spécifié ».

Bastien Utilisabilité/utilité : qualité ergonomique de

l'interface

Page 15: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

15

Évaluation et cycle de conception

Page 16: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Évaluer quoi ?

Les dimensions d'évaluation dépendent des objectifs et du contexte

utilité la fiabilité la qualité technique les temps de réponse

utilisabilité la facilité d'apprentissage, la flexibilité, la

robustesse l’utilisation des fonctions la tolérance aux erreurs la qualité de la documentation et de l’assistance la logique du travail les opinions ou les attitudes

Page 17: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

17

Variables cibles variables subjectives

esthétique confort préférences plaisir

variables mesurables taux d'erreurs durée d'exécution d'une tâche demandes d'aide durée d'apprentissage absentéisme détournements (catachrèses)

Page 18: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

18

Observables Nature

Traces, « log » Verbalisations Gestes, déplacements Productions

Problèmes des mesures Validité de l'appareil de mesure (biais

expérimentaux, méthodes intrusives) Fidélité (variabilité / expérimentateurs) Précision (sensibilité aux variations)

Interprétation des observables Méthodes quantitatives Méthodes qualitatives

Page 19: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Évaluer comment ? Sans utilisateurs : approche analytique

a priori, ne nécessitant pas un système fondée sur des modèles (de l'interface, de l'interaction,

de l'opérateur)• modèle implicites (méthode d’inspection, « low 

cost »)• modèles explicites (formels, approches

automatiques) prédiction de comportement ou de performance

Avec utilisateurs : approche expérimentale (empirique) nécessitant un système (ou un prototype) recueil de données comportementales auprès

d'utilisateurs• en situation réelle ou • en laboratoire

Page 20: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

20

Évaluer à quel prix ? Temps, argent, compétences

Méthodes « low cost »• Culture de l’évaluation chez les informaticiens• Évitent les gros problèmes, pas les problèmes

subtils• Informelles, qualitatives, évaluation formative

Méthodes scientifiques et rigoureuses• Gros projets, projets à risques, recherche• Informations fiables, quantitatives

Quel retour sur investissement pour les études d’utilisabilité ? (ROI)

Page 21: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

21

Plan

Rappels Évaluer ? Critères d’évaluation heuristique

Exemple : sites web Critères d’évaluation ergonomique

Méthodes d’inspection Tests utilisateurs (cours 5) Choisir une méthode (cours 5)

Page 22: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

22

Utilisabilité des sites web

Vos 5 problèmes clé :

Page 23: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

23

Ceux des experts 7 péchés capitaux des sites Web (Zdnet Anchor desk)

navigation inconsistante, liens morts, sites dédiés à un seul navigateur, aucune personne à contacter, frames, sites qui ouvrent de nouvelles fenêtres, panneaux en construction

5 principales erreurs de conceptions (HP Ebusiness) les animations, présentation non fonctionnelle, liens pas

clairs, recherche qui n ’aide en rien, design qui n’a rien à voir avec les préoccupations de l’utilisateur

6 erreurs fondamentales (Nielsen) considérer le web comme une brochure publicitaire, centrer

le site sur les problèmes internes de l’entreprise, calquer sa structure sur celle de l’entreprise, ne pas tester avec des débits plus lents et du matériel moins performant, écrire des textes comme pour une lecture papier, considérer son site ou sa page comme le bout du monde

Page 24: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

24

Vos cinq critères de qualité

Page 25: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

25

Ceux des experts

auditweb rapidité du site, aisance de la navigation,

pertinence du design, respects des standards, qualité du service

internet World temps de chargement, facilité d ’utilisation, Design

graphique, facilités commerciales, contenu, commentaires généraux

Nielsen téléchargement rapide, régularité et fréquence des

mises à jour, utilisation facile du site, contenu de qualité

Page 26: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

26

Critères de Nielsen

1. Visibilité de l’état du système2. Cohérence entre le système et le monde réel3. Contrôle à l’utilisateur et liberté d’action de l’utilisateur4. Consistance et respect des standards5. Prévention des erreurs6. Reconnaître des objets plutôt que mémoriser des

options7. Flexibilité et efficacité d’utilisation8. Combat pour esthétique et design sobre9. Aide à la reconnaissance, le diagnostic et la

récupération des erreurs10. Aide et documentation

Page 27: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

À l’origine de la norme Z67-133-1, Décembre 1991, Evaluation des produits logiciels : Partie 1, Définition des critères ergonomiques de conception et d’évaluation des interfaces utilisateurs.

1. Structuration des activités et guidage2. Minimiser la charge de travail3. Contrôle entre les mains de l'utilisateur4. Adaptabilité5. Prévision et récupération des erreurs6. Compatibilité7. Signifiance des codes et dénomination8. Cohérence et homogénéitéhttp://www.ergolab.net/articles/les-criteres-

ergonomiques-partie1.html#4

Critères de l’INRIA (Bastien et Scapin)

Page 28: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

28

Utilisation des critères

Pour l’évaluation Évaluation heuristique

Pour la conception Inscrire les critères d’évaluation dans les dossiers

de conception Guide pour l’équipe de conception

Page 29: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Structuration des activités et guidage objectif :

faciliter l'apprentissage par l'action, l'orientation, les prises de décisions

techniques des roulettes de sécurité (étayage, scaffolding), incitation (prompting, affordance) structure de contexte déterminée par les actions possibles granularité des commandes format d'écran

• organisation spatiale des données importantes• groupement• format de présentation (titre, courbe, couleur, encadrés,

justification) structuration des menus (préférez la largeur)

Page 30: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

30

Guidage - incitation

À faire

Contre-exemple certains jeux d’aventures

Page 31: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

31

Guidage - groupement/distinction entre items

À faire

À ne pas faire

Page 32: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Retours d'informations

Objectif : informer pour permettre à l'utilisateur d'évaluer son action

(modèle de Norman) pour rassurer (temps de réponse long) pour réduire la charge cognitive

indication du contexte de travail (fenêtre courante, états, curseurs actifs)

représentation des déplacements présentation des options (menus fantômes,

surgissant, pop-up)

Page 33: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

33

Guidage – retour d’information

À faire

À ne pas faire

Page 34: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

34

Guidage - lisibilité

À faire

Objectif : informerpour permettre à l'utilisateur d'évaluer son action pour rassurer (temps de réponse long)

Définition du guidage : c’est l’ensemble des moyens mis en œuvre pour conseiller, o, Objectif : informer

pour permettre à l'utilisateur d'évaluer son action (modèle de Norman)pour rassurer (temps de réponse long)pour réduire la charge cognitive

indication du contexte de travail (fenêtre courante, états, curseurs actifs)

À ne pas faire

Page 35: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

35

Charge de travail

Définition : Le critère charge de travail concerne l’ensemble

des éléments de l’interface qui ont un rôle dans la réduction de la charge perceptive ou mnésique (mnème = unité d’information) des utilisateurs et dans l’augmentation de l’efficacité du dialogue

2 sous-critères brièveté

• concision• actions minimales

densité informationnelle

Page 36: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Règle de concision

objectif : limiter la charge de travail compromis entre le bref et l'expressif pas de gadgets inutiles, limiter les fonctionnalités

éviter les surcharges d'informations (limiter la densité) réduire la charge mnésique et le nombre d'actions physiques

abréviations (utilisateurs expérimentés) compréhensibles dérivables selon des règles précises (commande I ou P)

macro-commandes flexibilité abstraction

minimiser les entrées et plus génralement les actions: couper-coller valeurs par défaut (dynamiques ou préférences)

défaire-repéter

Page 37: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

37

Charge de travail - brièveté

À faire

À ne pas faire

Page 38: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

38

Charge de travail - actions minimales

À ne pas faire

Page 39: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

39

Charge de travail - densité informationnelle

À faire

À ne pas faire

Page 40: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Règle du contrôle à l'utilisateur

objectif : l'interface doit apparaître comme étant sous le

contrôle de l'utilisateur le système n'exécute des opérations qu'à la suite

d'actions explicites de l'utilisateur Exemple :

ne pas changer d'écran sans demande explicite prévenir si changement de contrôle prévoir pour les experts la possibilité d'anticiper,

de sauter des étapes

Page 41: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

41

Contrôle explicite

Définition : ce critère regroupe 2 aspects différents la prise en compte par le système des

actions des utilisateurs le contrôle des utilisateurs sur le traitement

de leurs actions 2 sous-critères

actions explicites contrôle utilisateur

Page 42: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

42

Contrôle explicite - actions explicites

À faire

À ne pas faire

Page 43: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

43

Contrôle explicite - contrôle utilisateur

À faire

À ne pas faire Impossibilité d’ annuler

Page 44: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

44

Adaptabilité

Définition : capacité du système à réagir selon le contexte, et

selon les besoins et préférences des utilisateurs 2 sous-critères

flexibilité prise en compte de l’expérience de l’utilisateur

Page 45: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Flexibilité Objectif : prendre en compte la diversité des utilisateurs et des

situations Distinguer :

interface adaptative (intelligente) ou adaptable (par l'utilisateur) Exemples :

préférences, tableaux de bord prendre en compte les niveaux différents d'expertise correction d’orthographe valeurs par défaut parmi une liste à sélectionner version novice/expérimenté représentation multiple des concepts

• associer plusieurs objets de présentation à un concept donné• variations sur une forme de base unique

possibilité de résoudre un problème de plusieurs manières respect du rythme de l'utilisateur éviter d'imposer un ordre pour les entrées d'informations

Page 46: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

46

Adaptabilité - flexibilité

Plusieurs façons d ’effectuer la même action Exemple

copie de fichiers vers une disquette dans l’explorateur• glisser - lâcher• copier - coller (menu, raccourcis clavier,

boutons)• menu, envoyer vers

Page 47: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

47

Adaptabilité - expérience de l’utilisateur

Page 48: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Prévisions et récupérations des erreurs

Objectif : l'utilisateur a le droit à l'essai erreur prévention

message d'alerte (quitter sans sauver) protéger en écriture ce qui n'est pas accessible à l'utilisateur

(label des formulaires...) détecter les erreurs dès la saisie lors des saisies minimiser la frappe

messages d'erreurs immédiats informatifs

récupération retour en arrière annulation d'une commande Modification partielle des données

Page 49: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

49

Protection contre les erreurs

Exemple

Page 50: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

50

Gestion des erreurs - messages d’erreurs

Mauvais exemples

Page 51: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

51

Gestion des erreurs - correction des erreurs

À faire la commande annuler

À ne pas faire

Page 52: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Règle de cohérence et d'homogénéité objectif :

rendre l'interface prédictible, même interface dans le même contexte

choix d'une métaphore d'interaction : unité de cohérence générale monde réel (manipulation directe) conversation (langage de commandes et LN)

pour une même tâche : suite d'actions identiques stabilité de l'écran :

titres, messages, informations localisés au même endroit d'un écran à l'autre

choix et prises de décisions se font de manière identique accès aux options des menus

terminologie constante q, logout, ., quitter, fermer construction de phrases constantes

Page 53: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

53

Homogéneité

Page 54: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

54

Homogénéité/cohérence

2

Page 55: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

55

Homogénéité/cohérence - entre logiciels

Page 56: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Signifiance des codes et dénominations codage :

codes numériques unanimité contre eux, décomposables en unités

significatives codes mnémoniques : plus faciles à retenir codes chromatiques

à n'utiliser que pour renforcer un codage code iconique

facile à mémoriser évocateur ?

codes graphiques dénominations

se conformer aux usages des opérateurs, de l'entreprise précision : afficher, voir, imprimer préférer les verbes aux noms verbaux pour les actions

Page 57: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

57

Signifiance des codes et dénominations

À ne pas faire

Page 58: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Compatibilité

avec les supports papier avec les habitudes des utilisateurs avec l'organisation de l'entreprise avec d'autres logiciels

=> se conformer aux normes et aux standards (ISO, AFNOR)

Ou alors innover

Mais radicalement

Page 59: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

59

Compatibilité - expérience de l’utilisateur

À ne pas faire

Page 60: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Conclusion sur les critères

En évaluation Art délicat de l’évaluation heuristique

• Évaluateurs moyens : subtiles Permet d’établir des rapports évaluation sur l’aspect

utilisabilité En conception :

Très utile de les avoir en tête lors de la conception faire des compromis entre différentes recommandations

contradictoires en fonction de la tâche, de l'activité ou du public cible

mais ne pas introduire de gadget ni multiplier les fonctions étudier de nombreuses interfaces d'un regard critique et

piquer les bonnes idées regarder de nombreux guides et critères (Cf. le web)

Page 61: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

61

Plan

Rappels Évaluer ? Critères d’évaluation heuristique Méthodes d’inspection Tests utilisateurs

Page 62: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Approches analytiquesl'évaluation de l'IHM se fait a priori par comparaison avec un

"modèle de référence" modèle qui n'est pas souvent formalisé ni explicité

on distingue des approches informelles

Méthodes d’inspection (présentées ici)• Méthodes « low cost »

des approches formelles (ou semi-formelles) (non étudiées ici) modèles prédictifs

• analyse de tâches (KLM et GOMS)• modèle linguistique (ALG et CLG)• modèle de complexité cognitive (Kieras et Polson)

modèles de qualité de l'interface• approche cognitive• recherche des qualités optimales

Page 63: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

63

Les méthodes d’inspection Inventaire

Les jugements d’experts Les grilles d’évaluation Les revues de conception (design walkthrough)

S’appuient sur Des scénarios Des heuristiques ou des critères

Avantages Pas cher Rapides (de l’ordre d’une journée) Faciles à utiliser (on apprend en 2 à 4 h)

Page 64: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Jugements d'experts

technique de diagnostic a priori (ou a posteriori) on confie l'interface (ou le projet) à un ou des experts

qui donnent leur avis sous la forme d'un rapport ou d'un formulaire

on leur demande de• repérer les points positifs et les points négatifs ou

des solutions• annoncer des difficultés d'utilisations potentielles• rappeler des connaissances sur le fonctionnement

humains non pris en compte par les concepteurs• proposer des améliorations argumentées et

pondéréesmodèle de l'interface non formalisé (ni même explicité)

Page 65: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

65

Jugement d’experts

(Inspection heuristique) choisir au moins deux experts (domaine et utilisabilité) procédure 1: fondée sur des scénarios

1. jouer un des scénarios Procédure 2 : fondée sur des critères ou des guides

1. Bis :étude systématique de tous les critères sur chaque écran

Procédure commune1. noter tous les problèmes rencontrés2. analyser les causes3. proposer des solutions4. rédiger un rapport

Page 66: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

66

Jugements d’experts : ++/-- Intérêt :

connaissances de l'expert fondées sur ses formations, lectures et expériences : plusieurs experts nécessaires

experts/novices :• novices : difficultés matérielles et conceptuelles de bas

niveau• expert : vue plus générale, sources potentielles de

dysfonctionnement biais de focalisation

• sur le fonctionnement particulier ( d'utilisateurs novices)• sur le domaine d'expertise de l'expert (domaine, IHM,

graphisme)• sur les "marottes" de l'expert

=> recours à plusieurs experts et synthèse de leurs avis Biais

pas cher, rapide et efficace, peut intervenir très tôt dans le cycle de conception

Page 67: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

67

Jugements d’experts : études% Problèmes détectés

Nombre d ’évaluateurs

0

1 2 3 4 5 6 7 8 9 10 11 12 13

20

40

30

10

50

10090

80

70

60

Évaluateurs spécialistes du domaine

Évaluateurs généralistes

Évaluateurs novices

670

1 2 3 4 5 6 7 8 9 10 11 12 13

20

40

30

10

50

10090

80

70

60

Évaluateurs spécialistes du domaine

Évaluateurs généralistes

Évaluateurs novices

670

1 2 3 4 5 6 7 8 9 10 11 12 13

20

40

30

10

50

10090

80

70

60

Évaluateurs spécialistes du domaine

Évaluateurs généralistes

Évaluateurs novices

67

Page 68: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

68

Pourquoi plusieurs experts ? Un expert ne détecte pas tous les problèmes Les bons évaluateurs trouvent les problèmes faciles

et les problèmes difficiles

Page 69: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

69

ROI (Return on investment)problems found benefits / cost

Page 70: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

70

Organiser des expertises Conseils :

Au moins trois experts : avis indépendants puis coordonnés, voir contradictoires

Ergonomes qualifiés d’au moins trois ans d’expérience Leur donner des scénarios d’utilisation et une

description de la population des futurs utilisateurs Résultats

Points positifs et négatifs et leur pondération Prévision de difficultés d’utilisation probables Informations sur les fonctionnements humains

insuffisamment pris en compte Propositions d’améliorations argumentées et

pondérées Attention

Ne remplacent pas les utilisateurs

Page 71: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Grilles d'évaluation principe :

fournir à l'évaluateur une liste des propriétés d'une bonne interface

l'évaluateur note de façon systématique chaque item sur une échelle de valeur (3 à 7 points)

problèmes état de l'art en ergonomie diversité des systèmes => grille spécifique à une application ? règle des 80/20 (ou 90/10) : hiérarchie d'importance des

critères interprétation, sensibilité au niveau d'expertise de l'évaluateur cohérence des réponses notation

• hétérogénéité de ce qui est noté• ne permet pas

- de comprendre la nature du problème rencontré- de décrire les difficultés

utile pour faire des comparaisons

Page 72: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

Revue de conception Design Walkthrough : examen du produit par des pairs (entre 3 et 7)

en cours de conception objectif : identifier des problèmes (pas les résoudre) durée : limitée à 1 h (fatigue) 4 rôles :

Présentateur:utilisateur : • présente un scénario de conception au groupe

scribe : • note tous les commentaires

modérateur : • s'assure que la discussion reste centrée sur l'utilisation• veille au respect de l'horaire

observateurs : • prennent le rôle de l'utilisateur, posent des questions, • font des remarques ou critiques (constructives) sur l'utilisation

Page 73: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

73

Sitographie (1)Critères :

http://www.ergolab.net http://www.lergonome.org http://www.univ-pau.fr/~lompre/ http://www.useit.com/ http://www.usableweb.com/ http://www.auditweb.net/conseils/

http://www.iw.comGuides de style http://www.dsi.cnrs.fr/bureau_qualite/ergonomie/

documentation/Guidergoweb2005.pdf

Page 74: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

74

Références & Bibliographie (1) Ce cours s’inspire principalement : Du cours et des TP sur la conception participative de Wendy Mackay à

la conférence IHM’2002, Poitiers, Novembre 2002 Du cours de John Canny (Berkeley) Des tutoriels « Design and Rapid Evaluation of usable Web sites »

organisé par Gene Lynch et «Scenario Based Usability Engineering » organisé par John M. Caroll et Mary B. Rosson à la conférence CHI’2000 en avril 2000 à la Haye

[Bastien et al. 2001] Christian Bastien, Dominique SCAPIN, évaluation des systèmes d’information et critères ergonomiques, in Christophe KOLSKI (Ed.), Environnements évolués et évaluation de l'IHM, Interaction homme-machine pour les systèmes d'information Vol 2, Hermès, 2001, 53-113

[Drouin et al. 2001] Annie Drouin, Annette Valentin, Jean Vanderdonckt, Les apports de l’ergonomie à l’analyse et à la conception des systèmes d’information, in Christophe KOLSKI, (ed.), Analyse et conception de l'IHM, Interaction homme-machine pour les systèmes d'information Vol 1, chapitre 2, Hermès, 2001, 250 p, ISBN 2-7462-0239-5, p. 51-83

Page 75: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

75

Références & Bibliographie (2)

[Hu et al 2001] Olivier Hu, Philippe Trigano, Stéphane Crozat , Une aide à l’évaluation des logiciels multimédias de formation, in Elisabeth delozanne, Pierre Jacoboni (ed), Interaction Homme Machine pour la formation et l’apprentissage humain, numéro spécial de la Revue Sciences et Techniques éducatives, vol 8-n°3-4/2001, Hermès

[Nielsen 2000], Jakob Nielsen, Conception de sites Web, l'art de la simplicité, Campus Press France, 2000, 385 p., 249 F, ISBN 2-7440-0887-7

[Bastien 1993] J. M. BASTIEN, D. SCAPIN, Ergonomic Criteria for the Evaluation of Human-Computer Interaction , rapport technique N°156 de l'INRIA, 81p., Juin 93

OFTA: Michael NAEL, L'évaluation des nouvelles interfaces homme-machine interactives, in Nouvelles Interfaces Homme-Machine, Observatoire Français des Techniques Avancées, Diffusion Lavoisier, Paris Décembre 1996, ISBN 2-906028-04-5, p. 323-340

B. Senach, Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, rapport de recherche N°1180 de l'INRIA, 70 p, 1990 ou Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, in J.-C. Sperandio, L'ergonomie dans la conception des projets informatiques, Octares éditions, 1993, p 69-122.

Page 76: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

76

Orientation « professionnels »

Design Patternshttp://www.designofsites.com/pb/register.htmlhttp://www.welie.com/patterns/

Brangier E., Barcenilla J., Concevoir un produit facile à utiliser : Adapter les technologies à l’homme, Editions d’organisation, 2003. (chapitre 5)

Page 77: 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr delozanne

77

Take home messages

Méthodes d’évaluation sans utilisateurs Indispensables en cours de conception évaluer les

maquettes et prototypes Rapides, pas chères et efficaces Permettent d’éliminer les erreurs de conception de

type « amateur »Méthodes d’évaluation avec utilisateurs Indispensables pour les problèmes liés au domaine, à

l’activité, aux usages