Méthodologie d’évaluation d’un système interactif

Évaluation et processus de R&D

Des principes à la réalité

Définir une problématique

Sortes d’évaluations

Analytique ou heuristique (juges)

Empirique (usagers)

Procédure d’expérimentation

Exemples

Atelier : Évaluation empirique d’un site avec des usagers

Évaluation avec les vrais usagers

Expérimentation

Pas le temps d’évaluer..

• Le développement coûte trop cher

• Je connais le domaine, je sais que c’est bien

• Nous avons fait des tests à l’interne

• Je préfère concevoir un nouveau système

• Personne n’aime les critiques

• Le système n’est pas fini

• Nous avons fait passer un questionnaire, tout le monde aime ça

Recherche Actionet Recherche

développement

Conceptualisation Développement

Expliciter

Observations

Analyse de données

C C

CC

C

Analyse des fonctionnalités

Développement d'un artefact

Validation de l'artefact dans

l'usage

Abstraction (processus et

fonctionnalités)

C

C

C

C

P

P

P

C

Conception de modèles

d'interventionEntrevuesC

C

Évaluation et processus de R&Dorientée vers le support aux activités

Critères d’évaluation et processus de R&Dorientée vers le support aux activités

Recherche Actionet Recherche

développement

Conceptualisation Développement

Expliciter

Observations

Analyse de données

C C

CC

C

Analyse des fonctionnalités

Développement d'un artefact

Validation de l'artefact dans

l'usage

Abstraction (processus et

fonctionnalités)

C

C

C

C

P

P

P

C

Conception de modèles

d'interventionEntrevuesC

C

Évaluation heuristique

Analyse de besoinsÉvaluation empirique Technique Ergonomique Fonctionnelle

Implantation

Innovation

Des principes à la réalité

• L’évaluation doit porter sur le contexte réel avec des usagers représentatifs

• Ressources rares - technique, temps, personnes

• Contraintes pratiques au niveau des choix, des versions, de l’accès aux usagers

• Barrière d’utilité.. difficile « d’imaginer » si ça sera intéressant ou difficile.

• Ne pas interrompre le processus

• Complexité et multiples possibilités

• Confidentialité

• Difficulté à se rappeler (Verbalisations rétrospectives)

• Évaluation à froid n’est pas valide

• Effet Hawthorn : « Usagers qui cherchent à répondre pour satisfaire le chercheur  »

Avant

Durant

Après

Qu’est-ce qu’évaluer un système ?

• Validation des systèmes de communication informatisésValidation de construit

Répondent-ils aux spécificationsFrançais, erreurs sur le fond dans le contenu

Fiabilité, efficacité - erreurs, temps de réactionUtilisabilité - Répondent-ils aux critères ergonomiques.

• Évaluation selon une normeStandards

• Évaluation selon un objectif Utilisation, efficacité, rend services, Input/outputNouveaux clients, Ventes, Nombre d’appels téléphoniques

Définir une problématique 1/3

TOUJOURS Préciser d’abord les objectifs de l’évaluation ….

Évaluer un système = adapter aux activités et au contexte

Valeur ajoutée du système

• Recherche - les systèmes, les usagers, les théories, les expériences

• Comparer un système à un autre ou à une version antérieureobserver les différences

• UtilisabilitéCritères ergonomiques

• Impact - notion d ’utilité (apprentissage, vente, échange)À quoi ça sert, qui, pourquoidifférents usagers - attentes - appréçiation des éléments

Définition d’une problématique 2/3

• Organisationnel - Design Socio-technique

Compatibilité - avec les autres tâches, entre applications.

Spécifications minimales - minimise les opérations

Socio-technique - efficace au plan technique, mais aussi utilisabilité, pas trop de stress, valorisation, complexité, responsabilité, …

Valeurs humaines - éthique

Multifonctionnel - sert plusieurs buts

Séparation - pas trop d’interdépendance entre les tâches

Flux - ne crée pas de ralentissements

Supporte la congruence - pas d’erreurs dans le système

Définition d’une problématique 3/3

Facilité d’Apprentissage du système

Facile à apprendre ? pour qui ? Développement d’expertise ?

pourcentage d’utilisation, mémorisation

Qu’en pensent les experts ?

• Conception

Identifier les problèmes ergonomiques

Focus et réorientation Bœdker

Goulots d’étranglement - échantillonnage des problèmes

Évaluation des différentes fonctions et cas d’utilisation.

Sortes d’évaluation

1. Évaluation analytique ou heuristique(en phase de conception Ch 8) 1. Basée sur l’analyse des tâches ou des activités -

GOMS2. Parcours cognitif (Cognitive walkthough)3. Évaluation heuristique des principes

ergonomiques (par des juges)

2. Évaluation empirique avec des usagers - Ex: Utilisabilité1. Procédure d’expérimentation et d’observation2. Méthodologie d’analyse des observations3. Méthodologie d’analyse des traces4. Vérification d’hypothèses5. Utilisation des questionnaires

1.1 Évaluation basée sur l’analyse des tâcheset des activités

• Aussi appelé analyse hiérarchique des tâches

• Utile pour analyser un système à développer,analyse des activités existantes

• Utile pour développer la documentation

structure de tâche ≠ structure d’interface

Exemple de recherche sur Amazon

1.1 Évaluation basée sur l’analyse des tâches

Modèle - GOMS - Goal Operators Methods and Selection rules

Buts: Intentions, Mémoire de la tâche à faire, structure à explorer (Cas d’utilisation)

Opérateurs: éléments d'actions, composantes, effets, input, output

Méthode: organisation de la tâche, des buts et des opérateurs, suite d’actions

Règles de sélection: procédure générale de choix entre les méthodes

L’exemple … Comment ouvrir un fichier ?

Application du modèle GOMS

• Utile lorsque la tâche est organisée sous formes de plans

Décrit le comportement idéal

Permet de caractériser les différences entre modèles usagers et tâches prévues

Permet de distinguer les novices, les experts et les méthodes efficaces pour la formation

Permet de choisir des versions ou options dans le système

Permet de considérer des variables comme

la distance des éléments,

le nombre d’opérations,

le temps de celles-ci,

la difficulté et

l'imbriquation

Peut servir à décrire un système a priori et à le valider sur papier

1.2 Parcours cognitif (Cognitive walkthough)

Différent de GOMS..car regarde moins la structure qu’un processus typique… on parle de l’approche des scénarios

• Déterminer les séquences d’utilisationIdentifier les buts et extraire les états par lesquels passeront les

usagersExplorer les multiples chemins possibles

• Évaluer l’utilisabilité des séquencesPour chaque action dans la séquence se mettre dans la peau d’un usager

Que veut faire l’usager ?L’action requise est-elle suffisamment évidente ?L’usager reconnaît-il que l’action répondra à ses buts ?L’usager reconnaît-t-il que la réponse du système répond à ses

besoins, qu’il a fait le bon choix.

1.3 Évaluation heuristique par des juges

• Évaluation heuristique… sort les principaux problèmes et les solutions.

• Utilise des experts d’utilisabilité

• Si on utilise des experts du domaine il faut leur donner des exemples de problèmes et les inciter à commenter leurs observations

• Fait a priori avant de mettre le système en utilisation

• Grille selon critères ergonomiques en adaptant les grilles au problème.

• Planifier la consigne et une série de tâches avec support papier

• Couvrir l ’ensemble de l ’application ou du moins les cas d’utilisation les plus fréquents

• Compte-rendu systématique sur les problèmes (Nielsen)

Neutralité et entraînement des juges

En résumé Différentes sortes d’évaluation

1. Évaluation analytique (en phase de conception)

1. Basée sur l’analyse des tâches ou des activités - GOMS

2. Parcours cognitif (Cognitive walkthough)

3. Évaluation heuristique des principes ergonomiques (par des juges)

2. Évaluation empirique avec des usagers - Ex: Utilisabilité

1. Procédure d’expérimentation et d’observation

2. Méthodologie d’analyse des observations

3. Méthodologie d’analyse des traces

4. Vérification d’hypothèses

5. Utilisation des questionnaires

1-3 Évaluation heuristique selon une grille théorique

• Évaluation heuristique… sort les principaux problèmes et les solutions.

• Grille selon critères ergonomiques - experts fait a priori sur le système lui-même en adaptant les grilles au problème.

• Importance de donner des exemples de problèmes et de commenter

• Couvrir l ’ensemble de l ’application

• Compte-rendu systématique

• Les juges peuvent aussi coder l ’ observation de vrais usagers

• Autres grilles théoriques : Présence sociale, Feedback jeux, types d’interaction, niveau d’autorité, etc.

Neutralité et entraînement des juges

2. Évaluation empirique avec des usagers

a. Procédure d’expérimentation et d’observation

b. Méthodologie d’analyse des observations

c. Méthodologie d’analyse des traces

d. Vérification d’hypothèses

e. Utilisation des questionnaires

Pour développer un système qui communique bien…ou pour la recherche …pour comprendre ce qui est important

Différents tests - Système de messagerie Olympiques 84

• Imprimer les écrans et le montrer aux responsables

• Tester le guide d’utilisation

• Prototype de clavier avec Sorcier d’Oz

• Démos pour usagers naïfs

• Inviter un Olympien dans l’équipe de direction

• Entrevues avec athlètes et famille pour savoir si correspond aux besoins

• Test - Café et beignes gratuits

• Tests d’utilisabilité auprès de 100 personnes

• « Try to destroy it »

• Test dans situation similaire avant l’évènement

• Test de fiabilité en situation de surcharge.

Grandes différences culturelles.. Watching helplessnness and hopelessnessCorriger avant, vrais problèmes pas imaginaires, accélère, vente sans excuse.

Preece, J., Rogers, Y., & Sharp, H. (2002). Interaction design: beyond human-computer interaction. New York: J. Wiley & Sons.

Un autre cas… Hutch V-Chat 1Collaboration dans la communauté d’un Centre sur le

Cancer

Permettre plus de communication asynchroneVérifier s’il y a quelqu’un

R&D et Évaluation de V-Chat

Un autre cas… Hutch V-Chat 2Collaboration dans la communauté d’un Centre sur le

Cancer

Identité perceptioncommunicationTrouve informationPlaisir

Tâches…Pointez sur vous, trouvez la carte, changez la couleur de votre chemisePostez un message, faites signe, murmurez,Trouvez quelque chose à faire à Seatle..allez sur yahooTrouvez un cadeau, envoyez le à..

ProblèmesMouvements difficiles avec la sourisNe peuvent trouver la carteBabillard pas clair..Ne voient pas boutons de navigationNe voient pas la zone de chat

ExploraGraph Interface de télé-apprentissage - Éditeur de soutien

Exemple : Marcelo MainaProblématique

• Évaluer l’interface du Campus Virtuel par rapport aux habiletés et aux contraintes reliées à l'accomplissement des activités visées par les tuteurs, et identifier celles que l’environnement ne permet pas d’accomplir.

• Modéliser l’activité des tuteurs et la décomposer en actions et en opérations à fin de spécifier les caractéristiques d’une interface ergonomique pour ces tâches.

Maina, M. (1999). Analyse de l'interface du Campus Virtuel par rapport aux activités du tuteur. Montréal: Université de Montréal.

Exemple d’analyse

Activité : support et animation

Action 6 : répondre à un message

Opération : choisir icone de réponse

• Problème : difficulté à différencier la réponse à la conférence, de la réponse à la personne

• Solution : uniformiser les icones et les placer à proximité de façon à favoriser la comparaison et le choix d’un type de réponse.

Réponse à la personne Réponse à la conférence

Outils d’évaluation auprès des usagers

• Observations et analyse des observations

• Analyse des traces d’utilisation

• Journal, feuille de route (BBM)Problèmes et commentaires positifsUtilisation des fonctionsRéseaux de communication

• Questionnaires

• Entrevues et focus groupe

• Analyse des variables externes (liées à l’efficacité)

Journal, feuille de route (BBM)

• Ne doit pas interrompre - outil, concentration minimale

Ex.de la feuille de route et du journal de bord -> Feuille à cocher

• Permet de noter des activités

Quelle tâche, Communiquer avec qui

Tâches (temps)

• Permet de noter des commentaires

Problèmes, changements, besoins,

2.1 Procédure d’expérimentation et d’observation

• Préparation - hypothèses, tâche, choisir un contexte réel d’activité.Tâche - choisir une séquence représentative, raccourcie

• Sujets, échantillonnage représentatif, au hasard, mesure répétées, schème contrebalancé

• Installation vidéo, audio, tester l ’application, le questionnaire

• Déroulementconsignepratiquer verbalisation sur un problème différentintervenir le moins possible, pas sur les causesdémontrer un minimum, observer, faire verbaliserQuestionner à la fin, vidéo revisité.

• Questionnaires formels et informelsSur quoi..?

2.1 Procédure d’expérimentation et d’observation

• Préparation - hypothèses, tâche, choisir un contexte réel d’activité.Tâche - choisir une séquence représentative, raccourcie

• Sujets, échantillonnage représentatif, au hasard, mesure répétées, schème contrebalancé

• Installation vidéo, audio, tester l ’application, le questionnaire

• Déroulementconsignepratiquer verbalisation sur un problème différentintervenir le moins possible, pas sur les causesdémontrer un minimum, observer, faire verbaliserQuestionner à la fin, vidéo revisité.

• Questionnaires formels et informelsSur quoi..?

Schème contrebalancé

Groupe Temps 1 Temps 2

A condition1 condition2

B condition2 condition 1

pour comprendre ce qui est importantinfluence de l’humour dans les interfacesde soutien à l’apprentissage

Objectifs de l’évaluation

Au moment de la conception

• Appliquer les critères ergonomiques - corriger les erreursCohérence interne et externeRéversibilitéProtection contre les erreursEtc.

• Appliquer les normes d’interfacesUtilisation des contrôles, groupes et position des boutons

• Tests techniques et corrections des bugs

Méthodologie d’expérimentation

• Évaluation avec des utilisateurs potentiels, pour des activités représentatives

• SujetsDix sujets (3 pré-test)

professeurs experts en TA, professeurs novices en TAdes chercheurs en TA (apporter de nouvelles idées)

• TâcheDécrire un scénario de coursAjouter quelques règles de soutienCommenter un prototype papier

• Observations, entretiens

Procédure d’expérimentation

• Préparer les tâches et les consignes

• Vérifier les installations

• Consigne, consentement

• Observer et noter

• Temps mis pour réaliser une tâche

• Notices d’utilisation utilisées

• Questions posées

• Erreurs commises

• Satisfaction de l’utilisateur

• Actions de l’utilisateur

• Diagnostic des problèmes ergonomiques

• Suggestions sur le vif

Ne pas interrompre Ne pas lui parler Aider un minimum

LORIT- Exemple de laboratoire d’observation

Salle de contrôle et d’observation

• Voir les postes et les caméras

• Contrôle des postes

• Contrôle des caméras

• Contrôle des liens avec Internet

• Contrôle des enregistrements

• Supervision des expériences

• Simuler l’interaction à distance

• Sorcier d’Oz - simuler les interactions d’un système en développement, aide, questions suggestions.

Expérimentation à distance au Lorit@d

Types de données Exemple d’un bulletin de nouvelles diffusé à la télévision

Annotations Clinton running for senate Speaking at rally Improving Medicare

Reconnaissance vocale “Clinton spoke with reporters” “Arrived in New York” “Older citizens who have”

Identification de la personne qui parle Lynne Russell Hillary Clinton

Sous-titrage >>Hillary Clinton spoke with reporters when she arrived in New York about her proposal for older citizens…

Timecode 08:26:12 08 :34 :29 08 :40 :00

Reconnaissance de l’écrit dans l’image Special Report Medicare Issues

Identification de la personne à l’écran Lynne Russell Hillary Clinton

Timbres postes

Vidéo encodé

Virage - Indexation vidéoDéroulement dans le temps

2.2 Transcription et analyse de vidéos analyse de protocole

• verbalisations, buts et structures d’actions

• problèmes, erreurs, conséquences, correction possible et solutions (design, formation ou aide, procédure) - Reed in Kirwan and Ainsworth 92

• codage des observations et des commentaires des usagers selon cette grille ergonomique, faire ensuite la synthèse selon les grandes catégoriesStructure des activités, compatibilité..soutien, difficulté d’apprentissagecohérence interne et externelisibilité, sens ambigu en contextecontrôle, feedback, flexibilité etc...utilité

Seule façon de voir le lien avec les activités

Grilles d’analyse liées aux usages

• grilles liées au contenu

• grilles basées sur les catégories d’actes de language.

• Communication Audit - Qui communique avec qui ?

• actes de langage impliqués dans les informations échangées ou consultées, par exemple - information, analyse, question, ludique, artistique,...

• sémiotique - quête, reconnaissance...

• présence sociale

• types d ’humour, de soutien, d ’information cherchée dans un site

2.3 Analyse des traces

• nombre de visites dans les différents environnements

• temps passé dans les différents environnements

• contexte du temps passé (en revenant ou en avançant, en venant d’où ?)

• erreurs, appel à l’aide et autres fonctions ‘méta’

• Statistiques descriptives sur les données tableau des fréquences, des moyennes, %

• tests de comparaison entre les groupes.

• Analyse statistique - séries temporelles, analyse des séquencescartes cognitives (aussi avec observations)- séquence, association, cause…

contenu de page X commentairesmédia X commentairesContenu de page X temps de consultationcontenu de l ’aide X temps de consultation, réaction

Réingénierie

• Réviser globalement l ’atteinte des objectifs du système et fixer des priorités pour les ajustements

• Repenser la structure des activités, de la navigation, des boîtes de dialogue

• Faire la liste des corrections à apporter au niveau du vocabulaire et des icones

• Réviser systématiquement les écrans, les boîtes de dialogues, les commandeset corriger en assurant la cohérence.

Il faut proposer une solution globale.. Et non pas morcelée

2.4 Questionnaires

• après mais le plus vite possible, mise en situation si nécessaire

• pas de mesures centrales

• questions adaptées et claires

• Questions fermées (et ouvertes à la fin)

• Structuré de plus en plus détaillé, éviter les biais dans l ’ordre

• Attirant

• plusieurs questions sur un thème…éparpillées

• pré-tester les questions et modifier celles qui ne sont pas claires ou inutiles, lorsque tout le monde a la même réponse.

• faire la moyenne par thème ou alors distribution dans les réponses avec histogramme.

• très d’accord, d’accord,....ordre naturel: 1= moins, 6 = mieux, 0 ne sait pas

• alterner positif et négatif en évitant les formes négatives (l’interface est difficile à comprendre...on sait tout de suite ce qu’il faut faire) - inverser les réponses pour l’analyse

Problèmes dans les questionnairesFaulkner

• Effet Hawthorn

• Réponses à connotation émotionnelle

• Suggérer la réponse

• Embarrasser les sujets

• Manque de précision

• Questions imprécises

• Questions trop complexes

• Effets d ’ordre dans les questions

Types de questionnaires

Questions fermées

• Liste à cocher

• Échelle multi-points

• Échelle de Likert (valeurs à chaque niveau)

• Différentiel sémantique (valeur opposée aux extrêmes

• Rang - Par exemple ordonner les problèmes

Questions ouvertes

Principaux problèmes..et solutions

Points pour la gravité

Ce que vous avez préféré

Discussion et interprétation

• comparer les résultats de différentes méthodes

• qualifier et regrouper ce qui est le plus significatif

• dire ce que ca apporte et ce qu’il faut faire ensuite

Proposer des solutions

Changer l’interface - rapport très structuré

Former les utilisateurs

Changer la procédure d’utilisation du système

Exemple - R&D Interface pour non-voyant

• Gregory Petit

Développer une interface de transposition des images des manuels scolaires en graphiques tactiles.

Utiliser un dispositif de lecture dynamique des images

Le STReSS - Haptic Laboratory à McGill

Exemple - R&D Interface pour non-voyant

• Gregory Petit

Définir le modèle de transposition et l’expérimenter avec des non-voyants

Protocole expérimental et formulaires de consentementCertificat d’éthique

Exemple - R&D Interface pour non-voyant

• HypothèsesDessins avec ou sans texture dans les formesSynthèse vocale vs Voix enregistrée

Voyants vs Non-voyantsAdultes vs enfants

• MéthodologieChoix des sujetsFormulaire de consentementEssais, exploration des images, questions de contenuQuestions sur l’expérience

• RésultatsEnthousiasme, réussiteLes sons qui dérangent

Analyse des résultats

Atelier

• Vous devez évaluer le site de http://www.toile.com

Problématique :Voir si les usagers trouvent facilement ce qu’ils

cherchent ?S’assurer que les touristes occasionnels et les gens

d’affaires seront bien servis Choisissez des tâches typiques ?Préparez la consigne et quelques phrases pour

encourager la verbalisationQuestionnaire - Préparez des questions selon la

problématique ?Grille de l’analyse de l’interaction observée

Atelier - Pour évaluer une maquette quelle différence ?Plusieurs méthodes possibles

Questions sur les cas d’utilisation ?Proposer les cas et demander de réagir ?

Méthode des cartes - comparer à la structure prévue

Simuler un cas (cogntive walkthrough)Montrer les écransLaisser naviguer sans intervenirPrendre des notes

Retour sur l’expérienceQuestionnaires fermés - utilisabilité, utilitéQuestions ouvertes - positif, problèmes triés, ce qui manque

Focus group.. Ce qu’on peut améliorer