Méthodologies d’observation et de description des interactions.

Théorie de l'activité

Sortes d’évaluation

Définir une problématique

Questionnaires

Méthodologie d’observation

Grilles d’analyse

Exemples

Évaluation avec les vrais usagersExpérimentation

Analyse des observations

Processus de R&Dorientée vers le support aux activités

Recherche Actionet Recherche

développement

Conceptualisation Développement

Expliciter

Observations

Analyse de données

C C

CC

C

Analyse des fonctionnalités

Développement d'un artefact

Validation de l'artefact dans

l'usage

Abstraction (processus et

fonctionnalités)

C

C

C

C

P

P

P

C

Conception de modèles

d'interventionEntrevuesC

C

Critères d’évaluation et processus de R&Dorientée vers le support aux activités

Recherche Actionet Recherche

développement

Conceptualisation Développement

Expliciter

Observations

Analyse de données

C C

CC

C

Analyse des fonctionnalités

Développement d'un artefact

Validation de l'artefact dans

l'usage

Abstraction (processus et

fonctionnalités)

C

C

C

C

P

P

P

C

Conception de modèles

d'interventionEntrevuesC

C

Évaluation heuristique

Analyse de besoinsÉvaluation empirique Technique Ergonomique Fonctionnelle

Implantation

Innovation

Qu’est-ce qu’évaluer un système ?

Validation des systèmes de communication informatisésValidation de construit

• Répondent-ils aux besoins, aux attentes• Répondent-ils aux spécifications• Français, erreurs sur le fond dans le contenu

Fiabilité, efficacité - erreurs, temps de réaction,nombre d’actionsUtilisabilité

opérations difficiles, facilesRépondent-ils aux critères ergonomiques.

Évaluation selon une norme (Legendre, 83)utilisation, efficacité, rend services, Input/output.

Définir une perspective une problématique

Évaluer un système = adapter aux activités et au contexteQuelle est la valeur ajoutée du système ?

Recherche - les systèmes, les usagers, les théories, les expériences Comparer un système à un autre ou à une version antérieure

observer les différences

Use and gratification - notion d ’utilité (intérêt, apprentissage, vente, échang, productivité)À quoi ça sert, qui, pourquoidifférents usagers - attentes - appréçiation des éléments

Définition d’une problématique (suite)

Facitlité d’apprentissage du systèmefacile ? pour qui ? évolution ?

pourcentage d’utilisation, mémorisation

Qu’en pensent les experts ?

Améliorer la conception problèmes ergonomiques à corriger

Focus et réorientation Bodker

goulots d’étranglement

évaluation des différentes fonctions

Exemple d’évaluation pour la conceptionCampus Canada - eportefolio

Définition d’une problématique (suite)

Organisationnel - Design Socio-techniqueDimensions techniques, modularité, efficacité, spécifications minimales,

compatibilité logicielle et matérielle

Mais aussi

Compatibilité avec les tâches

Multifonctionnel

Séparation

Flux

Supporte la congruence

Valeurs humaines

Questionnair

es

ObservationsEx. PlomberiumImbrication des tâches de communicationet liées à la tâche, succès dans les tâches

Outils d’évaluation

Walktrough, scénarios, Évaluation heuristique selon une grille

Journal, feuille de route (BBM)Problèmes et commentaires positifsUtilisation des fonctionsRéseaux de communication

Questionnaires Entrevues et focus groupe

Analyse structurale de la hiérarchie des tâches (Annett, Card & Moran)

Observations et analyse des observations Analyse des traces d’utilisation

Analyse des variables externes (liées à l’efficacité)

Évaluation selon une grille par des jugesa priori ou sur les observations

Évaluation heuristique… sort les principaux problèmes et les solutions.

Grille selon critères ergonomiques - experts fait a priori sur le système lui-même en adaptant les grilles au problème.

Importance de donner des exemples de problèmes et de commenter Couvrir l ’ensemble de l ’application Compte-rendu systématique

Les juges peuvent aussi coder l ’ observation de vrais usagers

Neutralité et entraînement des juges

Journal, feuille de route (BBM)

Ne doit pas interrompre - outil, concentration minimaleEx.de la feuille de route et du journal de bord -> Feuille à cocher

Permet de noter des activitésCommuniquer avec qui

Tâches (temps)

Permet de noter des commentairesProblèmes, changements, besoins,

Questionnaires

après mais le plus vite possible, mise en situation si nécessaire

pas de mesures centrales

questions adaptées et claires..pré-tester le questionnaire, homogénéité

Questions fermées (et ouvertes à la fin)

Structuré de plus en plus détaillé, éviter les biais dans l ’ordre

Attirant

plusieurs questions sur un thème…éparpillées

pré-tester les questions et éliminer celles qui ne sont pas claires

faire la moyenne par thème ou alors distribution dans les réponses avec histogramme.

très d’accord, d’accord,....ordre naturel: 6 = mieux, 1= moins, 0 ne sait pas

alterner positif et négatif en évitant les formes négatives (l’interface est difficile à comprendre...on sait tout de suite ce qu’il faut faire) - inverser les réponses pour l’analyse

Problèmes dans les questionnairesFaulkner Réponses à connotations émotionnelles Suggérer la réponse Embarrasser les sujets Manque de précision Questions imprécises Questions trop complexes Effets d ’ordre

Types

Liste à cocher Échelle multi-points Échelle de Likert (valeurs à chaque niveau) Différentielle sémantique - dimensions opposées

ex: facile …….difficile Rang

ordonnez les problèmes, les contenus

Entrevues et focus group

Questionnaires -> entrevues individuelles -> focus group Le faire « à chaud »

Préparer les questions à débattreAvec le système actuel..

Goulot d’étranglementsQuelles difficultés? Que changeriez-vous? Expérience d’implantation précédente?Compétences et besoins de formation?

Avec le nouveau système..• Qu’est-ce que vous avez trouvé facile? … difficile ?• Qu’est-ce que vous avez trouvé utile? … inutile ?• pourquoi vous recommanderiez?… ou non ?

goulot d’étranglementÀ changer, qui manque

Poser ces questions pour les différentes parties ou fonctions du système

Avoir un animateur, une secrétaire, et enregistrer

Exemples de grilles d’analyse des observations grilles basées sur les catégories d’actions Communication Audit - qui avec qui ? Combien souvent ? actes de langage impliqués dans les informations échangées ou

consultées, par exemple - information, analyse, question, ludique, artistique, complexité

sémiotique - quête, reconnaissance... présence sociale, Niveau d ’autorité carte cognitive -

Liens entre les éléments de représentation

séquence, association, cause

Discussion et interprétation

comparer les résultats de différentes méthodes -triangulation qualifier et regrouper ce qui est le plus significatif dire ce que ça apporte et ce qu’il faut faire ensuite.

Analyse structurale

Analyse structurale et processus de design

Description de la structure de l ’interface

Description de la structure des activités GOMS

Goal Operators Methods and Selection rules

Comparer la structure d’utilisation à la structure prévue ou idéale.Identifier les correctifs au système, à la formation, à la documentation.

Reed (Task analysis)

Analyse structurale

La notion d’activité est médiée par des artefacts (Vigotsky) dans un contexte social (Leontiev).

La communauté partage des artefacts, des écrits, des sites, des codes..

On peut chercher à décrire ces systèmes d’activités et d’artefacts.

Les activités s’organisent à travers des règles, qui peuvent être contradictoires.

L’analyse des usage cherche à résoudre ces contradictions.

Analyse hiérarchique, Approche MAD, UML

Appliquer la méthode d’Analyse hiérarchique des tâches en phase de conception

Décrire formellement chaque unité de tâche

UML User Modeling LanguagePender, T. A. (2002). UML Weekend Crash Course. New York, Wiley.

Méthodologie permettant de passer de ces descriptions d’activités, d’objets, aux spécifications d’un système à concevoir.

Exemples de représentations Local

Méthodologie d’observation en situation d’utilisation (Représentation et activités)

nécessite un prototype plus fonctionnel

observer en situation d’utilisation

groupe de sujets représentatifs

observation et enregistrement vidéo et des traces

À quoi pensez-vous? pas de question sur les causes

éviter d’intervenir, aider si nécessaire (Magicien d’Oz)

_______________

codage des protocoles par des juges selon critères d’utilisabilité

grille en fonction du contexte, des modalités, etc..

coder les actions, les commentaires, les problèmes...

Méthodologies d’observation

Préparation - hypothèses, tâche, contexte. Sujets, échantillonnage Installation

vidéo, audio, tester l ’application, le questionnaire Déroulement

consignepratiquer verbalisation sur un problème différentintervenir le moins possible, pas sur les causesdémontrer un minimum, observer, faire verbaliserQuestionner à la fin, vidéo revisité.

Questionnaires formels et informelsSur quoi..?

Procédure d’expérimentation

PréparationRecherche et décider des objectifs, de la grillePrévoir une tâche et une activité de pratiquePrévoir évaluation pré-test et post-test.Faire une consigne - quoi faire, situation d ’observation, confidentialité, Tester le matériel - vidéo son système

Pré-expérimenter les activités, les questionnaire Début

Pré-test - Questionnaire, test de compétencePratiquer - Faire verbaliser, ré-expliquer

ExpérienceDisparaître faire parler, mettre à deux, relancer les questions (ne pas répondre)

Post-testQuestionnaires : à chaud Interviews Focus

Transcription et analyse de vidéos analyse de protocole verbalisations, buts et structures d’actions problèmes, erreurs, conséquences, correction possible et solutions

(design, formation ou aide, procédure) - Reed in Kirwan and Ainsworth 92

codage des observations et des commentaires des usagers selon cette grille ergonomique, faire ensuite la synthèse selon les grandes catégoriesStructure des activités, compatibilité..soutien, difficulté d’apprentissagecohérence interne et externelisibilité, sens ambigu en contextecontrôle, feedback, flexibilité etc...utilité

Seule façon de voir le lien avec les activités

Grilles d’analyse

grilles basées sur les catégories d’actes de language. Communication Audit - Qui communique avec qui ? actes de langage impliqués dans les informations échangées ou

consultées, par exemple - information, analyse, question, ludique, artistique,...

sémiotique - quête, reconnaissance... Niveau d’autorité dans les interventions Niveau de présence sociale. types d ’humour, de soutien, d ’information cherchée dans un site

Logiciels d’analyse

Analyse textuelle. extraction des mots

Analyse de textesajout de mots clés aux textes, images, vidéos

ou enregistrements sonores

Statistiques d’occurences, de cooccurences, liste des extraits,recherche et créer liste

Construction du réseau des concepts

Découpage et codage de vidéos, d’imageszones et mots clés

Nudist

QdAminer Provalis

Nvivo

AtlasTi

Morae

Virage

Systèmes de suivi

Suivi oculaire Utilise réflexion infrarouge sur l’oeil pupille et cornée

Près de l’écran ou sur casque, utilise reconnaissance du visage FaceLab

Mesures

Grandeur de pupille, point de fixation, durée de fixation, saccades,clignement

Diagnostic - Attention, intérêt, fatigue

Analyse - définit des zones, faire des statistiques

Système de suivi

Suivi physiologiqueConductivité de la peau (réponse psycho-galvanique RPG)

Respiration

Température

EEG (Activités cérébrales

EMG (Tension musculaire)

Diagnostic - Fatigue, effort cognitif, émotions + ou =.

Recherches–Soutien aux apprenants - Fethi Guerdelli- DIC UQAM–Effort cognitif dans l’Exécution des tâches Agence Spatiale

–François Courtemanche Informatique UdeM–Composantes d’interface et contributions dans les sites avec contenus générés par les utilsateurs- Sandrine Prom Tep HEC

Analyse des traces

nombre de visites dans les différents environnements temps passé dans les différents environnements contexte du temps passé (en revenant ou en avançant, en venant d’où ?) erreurs, appel à l’aide et autres fonctions ‘méta’ Statistiques descriptives sur les données tableau des fréquences, des

moyennes, % tests de comparaison entre les groupes. Analyse statistique - séries temporelles, analyse des séquences

cartes cognitives (aussi avec observations)- séquence, association, cause…contenu de page X commentairesmédia X commentairesContenu de page X temps de consultationcontenu de l ’aide X temps de consultation, réaction

Analyse de contenus des textes produits

Exemple eCommerce

Corrélation entre évaluation, Grandeur de pupille et GSR.

Exemple Amazon

Structure d’actions Vs Zones d’intérêts

Exemple Amazon

Structure d’actions Vs Zones d’intérêts

Exemple Amazon

Structure d’actions – et réactions

Exemple Amazon

Structure d’actions – et réactions

Chaque page.. La valeur des commentaires influence l’intérêt à acheter

Exemple Amazon

Exemple Amazon– Quelle zones provoquent une réaction dans les livres ?

Utiliser l’évaluation - Réingénierie

Reviser globalement l ’atteinte des objectifs du système et fixer des priorités pour les ajustements

Repenser la structure des activités, de la navigation, des boîtes de dialogue

Faire la liste des corrections à apporter au niveau du vocabulaire et des icones

Reviser systématiquement les écrans, les boîtes de dialogues, les commandes et corriger en assurant la cohérence.

Ajout de feedback ou d’intervention en fonction du contexte.

Utilisation de l’analyse pour valider des hypothèses

Public Contenu Impact

Exemple de problématique : Marcelo

Évaluer l’interface du CV par rapport aux habiletés et aux contraintes reliées à l'accomplissement des activités visées par les tuteurs, et identifier celles que l’environnement ne permet pas d’accomplir.

Modéliser l’activité des tuteurs et la décomposer en actions et en opérations à fin de spécifier les caractéristiques d’une interface ergonomique pour ces tâches.

Exemple d’analyse

Activité : support et animation

Action 6 : répondre à un message

Opération : choisir icone de réponse

Problème : difficulté à différencier la réponse à la conférence, de la réponse à la personne

Solution : uniformiser les icones et les placer à proximité de façon à favoriser la comparaison et le choix d’un type de réponse.

Réponse à la personne Réponse à la conférence