29
1 Plate-forme d’expérimentation des systèmes interactifs BP 53 -38041 G renoble C edex 9 -France CNRS - INPG - UJ F C om m unication Langagière et Interaction Personne-Systèm e

1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

Embed Size (px)

Citation preview

Page 1: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

1

Plate-forme d’expérimentationdes systèmes interactifs

Plate-forme d’expérimentationdes systèmes interactifs

BP 53 - 38041 Grenoble Cedex 9 - FranceCNRS - INPG - UJF

Communication Langagière etInteraction Personne-Système

Page 2: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

2

Objectifs

Etudier les usages et l’utilisabilité en situation de travailConcevoir et Evaluer les systèmesen,Expérimentant des scénarios d’usage et d’utilisationSimulant des maquettes ou des systèmes

Page 3: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

3

Objectifs

Etudier les usages et l’utilisabilité en situation de travailConcevoir et Evaluer les systèmesen,Expérimentant des scénarios d’usage et d’utilisationSimulant des maquettes ou des systèmes

Page 4: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

4

Objectifs

Etudier les usages et l’utilisabilité en situation de travailConcevoir et Evaluer les systèmesen,Expérimentant des scénarios d’usage et d’utilisationSimulant des maquettes ou des systèmes

Page 5: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

5

Objectifs

Etudier les usages et l’utilisabilité en situation de travailConcevoir et Evaluer les systèmesen,Expérimentant des scénarios d’usage et d’utilisationSimulant des maquettes ou des systèmes

Page 6: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

6

Définitions préalables

Vérification : examen, essais ou mesures effectués en référence à des données préétablies,

Evaluation : mesure des performances d’un produit ou d ’un procédé a priori ou sur des données recueillies

Validation : acte par lequel le réalisateur d’un produit ou d ’un procédé, le reconnaît capable de satisfaire le besoin pour lequel il a été défini (après l’avoir vérifié en général par le suivi de sa première utilisation),

Qualification : établissement de la conformité d’un produit final par rapport aux exigences du client.

Page 7: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

7

Démarche : rationaliser la conception des systèmes interactifs autour d’une approche

anthropocentrée et du cycle de vie

En optimisant le cycle de conception :- en diagnostiquant les impasses possibles au plus tôt, - en évitant les retours arrières et les erreurs de conception.

En agissant aux niveaux :1. de l’usage (valeur et signification d’usage),2. de l’utilisabilité (qualité ergonomique),3. des techniques et outils.

En validant chaque étape.

Page 8: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

8

Le cycle de vie

Avant-ProjetIdéeMarchéBesoinUsageFonctionnalitésTechnologieMaquetteUtilisabilitéPrototypeTechnologieSystèmeMarchéRetours

Développement

Après-vente

Spécifications

Page 9: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

9

Le cycle en V (génie logiciel)

Analyse des besoins

Conception

Conception logicielle

Codage

Tests Unitaires

Tests d’intégration

Tests UtilisateursEvaluation

ergonomique

Développement

systématique

Observations

Propriétés

Analyse des tâches

Spécifications externes

Architecture PAC-Amodeus

Page 10: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

10

Le cycle de conception en spirale

Un bon départ : enrichir l’idée

La force de la démarche réside dans le fait que tous les critères (a) d'usage, (b) d'utilisabilité, (c) technologique,(d) économique, sont pris en compte, au plus tôt.

Idée

Fonctions

Scénario

EvaluationEvaluation

Validation

Maquette

Validation

Cahier charges

Page 11: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

11

Le cycle de conception en spirale

A Observer et évaluer les usages,B Définir le cahier des charges, le validerC Expérimenter les scénarios d’utilisation,D Affiner le cahier des charges et spécifier le système,

E Réaliser ou simuler une maquette du système,F Valider la maquette,G Evaluer l’utilisabilité de cette maquette,H Corriger les spécifications,

I Valider le prototype,J Réaliser une première série,K La mettre sur le marché.

Page 12: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

12

Début du cycle...

Analyse de l ’usage

génération du questionnaire enquête sur le terrain enregistrement du verbatim

auprès d’informants interprétation et

présentation des résultats recommandations pour le

cahier des charges

Page 13: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

13

Le cycle continue...

Simulation de l’usage et

Test prédictif de l’utilisabilité

choix des fonctionnalités écriture des scénarios capture de comportements interprétation des données recommandations ergonomiques

par analyse de l’activité ou analyse des tâches

Page 14: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

14

Le cycle s’achève...

Spécification du cahier des charges

Développement

Evaluation du système final

validation des fonctionnalités tests de comportements inspection ergonomique mesures de qualité

Page 15: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

15

Les méthodes (1)

La simulation :

simuler un produit (réalité virtuelle),

simuler une utilisation (magicien d’Oz),

simuler un usage (vidéo)

Les approximations :

Perceptuelle

ActionnelleInteractionnelle

Communicationnelle

Page 16: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

16

Magicien d’Oz

Sur une plate-forme dédiée

Page 17: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

17

Les méthodes (2)

La simulation La mesure :

— définir des critères ou des grandeurs de mesure (temps d’exécution, nombre d’erreurs, etc.),

— écrire des scénarios de mise en test,

— capturer des comportements en situation,

— les mesurer sur les traces à l’aide des critères.

Page 18: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

18

Les méthodes (3)

La simulation La mesure L’analyse :

— faire des analyses fonctionnelles ou des analyses de tâche, à partir des mesures comportementales,

— et des protocoles de verbalisation ou de dialogue,

Elle opère à partir de théories cognitives et linguistiques

Page 19: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

19

L’analyse conjointe

LinguisteErgonome

Activité verbaleLexiqueSyntaxeProsodie (intonation, pauses, débit)

Accès aux savoirsActivité réelleRaisonnements

ObservablesActionsPosturesGestesRegards

Acteur Locuteur

Utilisateur

Page 20: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

20

La verbalisation dans la tâche

Exemple de dialogue

(1) Quand tu reçois une télécopie ça / ça raccroche automatiquement (2) oui mais normalement / c'est pas logique / tu décroches pas pour un fax

On peut en déduire que pour cet utilisateur : un fax raccroche automatiquement en fin de réception et un fax décroche automatiquement en début d'émission, du moins c'est ce à quoi il s'attend. De tels savoirs, quasiment incorporés, sont difficilement accessibles par l'étude seule des actions effectuées sur l'appareil.

Page 21: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

21

La verbalisation spontanée

Les verbalisations spontanées lors de la réalisation des tâches, prises en compte comme observables, offrent une richesse complémentaire permettant d'apporter des éléments de réponse, en termes de ressenti subjectif des utilisateurs.

On en observe de nombreuses matérialisations comme un grand nombre de "non", des soupirs, des hésitations et des répétitions "continue continue / non non", des signes d'agacement, et enfin, la personnalisation de l'appareil qui rejette les utilisateurs "il veut pas de nous".

Utilisation des outils linguistiques : syntaxe, prosodie, sémantique, pragmatique, etc.

Page 22: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

22

Les modèles cognitifs

• Critères ergonomiques (perception / action)• Analyse de tâches (théories de la planification)• Modèle du Processeur Humain [Card], GOMS• Modèle ICS (Interacting Cognitive Subsystems) [Barnard]

Sous-systèmeacoustique

(AC)

Sous-systèmemorphono-lexical

(MPL)

Sous-systèmearticulatoire

(ART)

Sous-systèmeétat physique

(BS)

Sous-systèmeimplicationnel

(IMPLIC)

Sous-systèmepropositionnel

(PROP)

Sous-systèmeobjet(OBJ)

Sous-systèmevisuel(VIS)

Sous-systèmemouvement

(LIMB)

COPY

Transform X vers Y

Transform X vers Z

Mémoire locale

Entrées(code de X) Sorties

(codes de Y et Z)

Page 23: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

23

La plate-forme et les outils

Client Magicien - Agent

Echange de- images- plans- textes

DAT

Vidéo-disque

1 Magicien "Gestion du dialogue" 1 Magicien "Annotation"

Station sujet

Dispositif d’observation

Stations compères : 1compère/tâche

Video de contrôle

Enregistrementsonore des sessions

Dispositifs

Page 24: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

24

Page 25: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

25

Les outils de traçage

A. Par traçage direct

Cela consiste à inclure dans le logiciel ou le produit des marqueurs pour suivre l’activité de l’utilisateur. Le résultat produit est un fichier de trace.

Exemple Supratel (CNET)

B. Par annotation

Cette méthode s’applique aux produits que l’on cherche à analyser comme une boîte noire. Il n’est pas possible alors d’utiliser la méthode directe. Il faut annoter l’activité de l’utilisateur “ à la main ” avec une assistance logiciel pour assurer l’annotation en temps réel.

Exemple CD-ROM Schneider

Temps Tâche Action Commentaire

00.00 Ouvrirfichier

Clickicône

00.01 Affichagefichier

00.02 Parcours des yeux

Page 26: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

26

Mise en forme des donnéesL'analyse est conduite par un expert qui définit ses critères.

Statistiques Analyse de questionnaires : tris à plat, croisements, tableaux

multiples, analyses pondérées, fiches individuelles, états récapitulatifs,

Traitements organisés en plans de tris, Filtres multi-critères et analyse des sous-populations. Analyse de données : analyses factorielles, classifications,

régressions, tests paramétriques ou non paramétriques, etc. Graphiques : Toiles d'araignées, Matrices croisées, Cibles,

Podiums, Flèches d'évolution, et bien sûr, les graphiques usuels en 2 ou 3 dimensions (barres, histogrammes, camemberts...).

Les outils d’analyse de données

Page 27: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

27

Les outils d’analyse de verbatim

Analyse lexicale– Répartition des entités lexicales en classes, après analyse

morphologique,

– La fréquence absolue et relative permet de déduire :– le vocabulaire partiellement utilisé en soustrayant à la liste

du vocabulaire total la liste du vocabulaire commun,– la banalité du vocabulaire qui est la mesure du nombre de

textes dans lesquels une entité lexicale est attestée.

Analyse des marqueurs pragmatiques– marqueurs de satisfaction : c ’est bon, c ’est ça– marqueurs de déception et de désapprobation : ça va pas– marqueurs de résignation : ça fait rien– etc.

Page 28: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

28

Outils d’analyse de l’activité

Actes (verbaux et gestuels)

Actions et situations

But atteintP1 réaliséBut satisfait

Intention enaction

a(1) a(2) a(3) a(4)

P1

S1

S2

s2

s4s5

temps

Š

Š Š

Š

ŠŠ

Š Š

Actes enintention

Plans Scénarios Scripts

Graphe d ’état

Séquence d’activité

Arbres de tâches

Page 29: 1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

29

Les projets en cours

RICOM (CNRS)L’évaluation du Dialogue (AUPELF)Recueil de dialogues (C-STAR)

SIRLAN (R&D IST, Europe)SHIVA (RRA, Emergence)