Interaction homme-machine Jean Caelen Laboratoire CLIPS-IMAG

Interaction homme-machine

Jean CaelenLaboratoire CLIPS-IMAG

Historique

Opérateur humain(...perforation de cartes...)Ecran de saisie(...page par page...)Ecran graphique(...clavier, souris, écran...)

Calculateur

Ordinateur

Personnel

Actuellement…

De : Combiné téléphonique(...communication humaine...)A : Interface instrumentale(...robot... action sur l’environnement…)

Met en relation des humains et des systèmes

Personne / personne

Personne / système

Les applications de l’informatique

les transports (air, rail, route, etc.),les télé-services transactionnels : commerciaux et bancaires,les télécommunications et les espaces de médiation,la formation et la télé-formation,la simulation et la conception assistée par ordinateur,la robotique et la télé-manipulation,la bureautique — concept du bureau du futur, du bureau de l’handicapé, etc.,l’utilisation collective de l’ordinateur : le travail collaboratif, les “ cyber-villages ”, etc.,la commande de processus continus ou discrets — environnement robotique, chaînes de production, etc.,l’aide à la création et aux activités artistiques, aux loisirs, à la diffusion de la culture — concept de télévision interactive, de musée virtuel, etc., l'aide à la maintenance de systèmes complexes, etc.l'aide à l'acte chirurgical et médical.

Nouvelles interfaces

Humains... plus diversifiésprofessionnel / grand publicSystèmes... plus complexesfonctions diversifiées, en réseau, distribués, agents, assistantsL’ordinateur envahit tous les champs d’application et atteint tous les publicsLes humains ne veulent plus « subir », la « machine » doit s’adapter

Les contours du domaine

Les modalités : vocal, gestuel, visuelLe traitement automatique du langage naturelL’ingénierie de l’interaction homme-machineLes environnements virtuels et augmentésL’image et le son (synthèse et traitement)Les médiaspaces, les objets communicantsL’intelligence ambianteLe collecticiel

L’ergonomie des interfaces et la sociologie…

Les conditions de la réussite

« Utilité »adéquation au besoin opératoire (adéquation à la tâche)pertinence de l’outil (pas un outil à « tout faire »)

« Utilisabilité »fiabilité (vers le zéro-défaut)efficacité (réduction du temps de la tâche)facilité d’emploi (en adéquation avec la mémoire)rapidité d’apprentissagemanipulation agréable

Les ingénieurs ne sont pas seuls concernés par les interfaces

Principes ergonomiques

Adéquation des modes et des modalités sensoriellesAdéquation des représentationsTraitements compatibles avec les objectifs et avec le raisonnement

H ► E + Mmodalités sensorielles modesreprésentations modèles, objetsraisonnements traitementsH = humain, E = environnement, M = machine

Processus interactionnel

Intention

Spécificationaction

Etablissementd'un but

Evaluation

Perception

Sens de

d'entréel'expression

l'expressionForme de

d'entrée

de sortie

Sens del'expression

l'expressionForme de

de sortie

Distance

de sortiesémantique

articulatoireDistance

de sortie

sémantiqueDistance

d'entrée

d'entrée

Distancearticulatoire

Exécution

Interprétation

Légende

Etapes

Sens de l'action

Variables Psychologiques

Variables Physiques

Théorie de l’action [Norman, 86]

Modèle de [Rasmussen, 86]• Habiletés• Comportement• Raisonnement

Habiletés

Comportement

Raisonnement

Le modèle ICS [Barnard, 92]

Sous-systèmeacoustique

(AC)

Sous-systèmemorphono-lexical

(MPL)

Sous-systèmearticulatoire

(ART)

Sous-systèmeétat physique

(BS)

Sous-systèmeimplicationnel

(IMPLIC)

Sous-systèmepropositionnel

(PROP)

Sous-systèmeobjet(OBJ)

Sous-systèmevisuel(VIS)

Sous-systèmemouvement

(LIMB)

ICS peut se voir, en première approximation, comme un affinement du Modèle du Processeur Humain [Card 83]. ICS est une architecture parallèle multi-processus décomposée en un ensemble de neuf sous-systèmes spécialisés

Cadre

Des individus qui agissent intentionnellement sur un environnement naturel ou artificiel au moyen d’un système informatique pour réaliser une tâche.

Définition

Adaptateur d’impédance (elle doit « résister »)Loupe (elle doit « focaliser »)Miroir (elle doit « refléter »)Attracteur (elle doit « motiver »)

L’interface est une abstraction (elle ne commence ni ne s’arrête au clavier-écran : elle a une profondeur)

Exemple : interface vocaleReconnaissanceparole => chaîne

Compréhension chaîne => structure

Dialogue structure => script

Action = script

Génération script => texte

Transduction texte => chaîne

Synthèsechaîne => signal

Interfaced'entrée

Interfacede sortie

niveau applicatifAction = script

Interface : opérateur / tâche

Domaine

Complexité

Type : innovation routine

Système cognitif perceptif, moteur

variations inter-individuelles

intr

a-in

div

idu

elle

s

Mo

dal

ités

UsagerInterface

Tâche

Contrôleur de Dialogue

Activité de l’usager cadrée par la tâche

L’interface doit avoir :

des représentations sur l’opérateur, aux plans cognitif et/ou social,une représentation des capacités perceptives et sensorielles humaines,un modèle du domaine de la tâche,un modèle d’interaction et/ou des règles sociales,une représentation d’elle-même (pour s’adapter ou pour être plus générique) et de ses différents dispositifs.

Typologie

1. Typologie des usagers,2. Typologie des environnements,3. Typologie de l’interaction,4. Typologie des tâches, 5. Typologie des connaissances,6. Typologie des dispositifs.

Typologie des usagers

Utilisateur de référence = HoUsagers proches = HpUsagers distants = HdSystème = M

Ho U Hp travaillent avec Hd à l’aide de M

Typologie des univers

Univers de référence artificiel = UoUnivers réel proche = UpUnivers réel distant = Ud

Environnement E = Uo U Up U UdUo

Ud

Up

Typologie de l’interaction

4 Directions d’ajustement

Ho contrôle E (Ho => E)Ho s’informe sur E (E => Ho)Ho interagit avec E (Ho E)Ho indépendant de E (Ho / E)

Rôles du système

Médiateur Simulateur Assistant Partenaire

E

E : réel, artificiel, métaphorique, virtuel

H

H o

p

m

Typologie des tâches

Tâches routinièrespar réutilisation complète de schémas

Tâches innovantes ou de conception par réutilisation de parties de schémas

(scripts)Tâches de création

toujours nouvelles• type de planification mise en jeu (hiérarchique,

opportuniste, fin-moyens, etc.),• nombre de buts poursuivis simultanément,• avec partage des tâches à plusieurs ou non,• astreinte à un processus temps réel ou non (qui

conditionne les interventions sur interruptions externes),

Typologie des connaissances

croyances de Ho sur E, croyances de Ho sur le système M, croyances de Ho sur lui-même, représentations de E dans M, croyances de M sur Ho,

Connaissances de H sur le monde

Connaissances de H sur M

ActionsH M

Conscience, Inférences

Signes

Connaissances de M supposées par H

Représentation des univers et des mondes d'arrière-plan

Connaissances représentées dans M

Connaissances partagées par H et M

Adaptation

Situation

Connaissances de M sur H

PerceptionActions

o

o

o

o

o

o

Typologie des dispositifs

Dispositifs statiques (écran) Dispositifs mobiles (robots) Dispositifs portables (PDA, téléphone) Dispositifs vestimentaires (capteurs) Dispositifs environnementaux (bornes)

Directionnalité (E/S), taille, type canal, débit, etc.

Exemple de dispositifs

Graphique (écran + clavier + souris) Vocal (microphone + HP) Gestuel (gant, retour d’effort) Visuel (caméra, vidéo-projecteur) Multimodal (mixte)

Exemple : interface vocale

Interface vocale téléphonique pour le renseignement touristique Ho = client, [Hd = agent], M = agent E = Base de données “tourisme” (E => Ho) Connaissances Ho = {langue, transport} Tâche = {routinier, hiérarchique, 1 but à la

fois} Dispositifs {entrée = microphone, sortie =

HP)

Tâche / activité• Tâche : caractéristiques

définition : suite(s) d’actions conduisant potentiellement à un(des) but(s) — nombre de buts poursuivis simultanément (tâches concurrentes et parallèles)— type de planification et dynamicité du raisonnement (de la routine à l’innovation)— tâche individuelle ou collective— astreinte à un processus externe (interruptions)— contraintes particulières (urgence, sécurité, etc.)— complexité (niveau cognitif exigé)

 • Activité

suite d’actes effectués par un usager dans le cadre d’une tâche — actes langagiers— actes non-langagiers

 On distingue la tâche prescrite de la tâche réalisée

Analyse de tâche

Pour concevoir et évaluer des systèmes informatiques, on analyse le comportement de l'utilisateur, avant pendant et après l'existence du système.

Le modèle UAN utilise des opérateurs d'enchaînement de tâches.

Séquence Attente Disjonction répétée Indépendance d'ordre Entrelacement Parallélisme

Tâche = hiérarchie 

(a) A() (b) A(

avec = acteoù est une non-action 

Modèle de tâche : Ensemble des actions Amuni de relations: précédé (<), suivi (>), simultané (||), disjonctif (OU), Indépendance d'ordre (ET), entrelacements (,)

Tâche

Plan(1) Plan(2) Plan(3) etc.

Scén(1,1) Scén(1,2) etc.

Script(1,1,1) etc.temps

A1, A2, A3, ...... An : suite d'actions effectuées

Rep

rése

ntat

ion

stat

ique

Représentation

Script : s (ou scénario)| appartient-à {scénarios}| liens de séquentialité {<, >, ||, OU, ET}| Corps : {Actions}| Conditions : {Contraintes}|_ Effets : {Actions} Action : A| appartient-à {scripts s}| liens de séquentialité {<, >, ||, OU, ET}| Corps : {Processus élémentaires}| Conditions : {Contraintes}|_ Effets : {Processus élémentaires}

Activité Actes verbaux et gestuels

Actions et situations

But atteint P1 réalisé

Intention en action

A(1) A(2) A(3) A(4)

P1

S1

S2

s2

s4s5

temps

Š

Š Š

Š

ŠŠ

Š Š

Activité :

Modèles de tâche pour conduire l'interaction : on s'appuie sur le modèle de tâche prescrit, pour situer le cadre pragmatique : on s'appuie sur les connaissances requises, Le modèle de tâche décrit la structure de coordination des activités entre l’usager et la machine

 Deux catégories de modèles

Explicites Implicites

Modèles explicitesDéfinition : un modèle de tâche explicite décrit de manière explicite la succession des actions (corps, effets, conditions, ordonnancement, etc.) conduisant à un but donné. Propriété : ce modèle convient bien aux tâches dites de routine. 

Formalismes :CLG [Moran, 81], GOMS [Card, 83], TAG [Payne, 86], MAD [Pierret-Golbreich, 89], ETAG [Tauber, 90], TKS [Johnson, 91], UAN [Hartson, 92], LOTOS [Amodeus, 93]etc. Outils :Arbres ET/OU, ATN, Pétri, Schémas, etc.± richesse des opérateurs

UAN [Hartson, 92]

Tâche sélectionner objet

 Acte utilisateur

 Action machine

 Etat

CursorMove Icône(objet) MouseDown MouseUp

  Icône(objet) Inverse vidéo Icône(objet) inv.video

     ObjetSélectionné(objet)

Modèles implicitesDéfinition : un modèle de tâche implicite décrit seulement le but à atteindre et quelques moyens pour l’atteindre.  Propriété : ce modèle convient aux tâches dites “innovantes” ou de conception. Formalismes issus de l’IA :• exploration d’arbres de buts [Mahler, 85], [Mittal, 85],• sélection et expansion de plans de conception [Brown, 85],• proposition et révision d’hypothèses par satisfaction et propagation des contraintes [Marcus, 86],• modification de solutions presque bonnes [Stallman, 77], [Howe, 88], Outils :Prototypes, algorithmes génétiques, etc.

Algorithmes génétiques

Pour une séquence P de prototypes donnée et un but B à atteindre : 

a) Mutation P’m M(Pm P)

b) Croisement P’c C((P’m) (P-Pm))

c) Sélection P’ S (P’c)d) Satisfecit si x P’ satisfaisant B

alors arrêtsinon P = P'; retour a)

Modèle d’usagerProfil…

• Perceptif• Cognitif • Actionnel

(-> par le langagier et le non-langagier)• Psycho-social Usage : Comportement typemodèle de l’usager ou des usages ?

Les connaissances

Connaissances de U sur le monde

Connaissances de U sur M et de M sur U

Actions

U M

Conscience, Inférences

Signes

Connaissances de M supposées par U

Monde

Connaissances représentées dans M

Adaptation

Modèles d’usager• Statiques

-> Dialogue adaptable- préférences- niveau d’expertise- particularités langagières- etc.

• Dynamiques-> Dialogue adaptatif- connaissances évolutives- stratégies dynamiques- robustesse- etc.

TechniquesCentralisé Distribué

Architecture Seeheim

Modèle en couche : des dispositifs à l’application

Seeheim (1980)

Présentationcontrôle lexical

Dialoguecontrôle syntaxique

Interface de l'applicationcontrôle sémantique

n þ Ý f N Ý Ó H n ý Ù H n þ "p

PAROLE VISION

GESTION DESEVENEMENTS

APPLICATION

DIALOGUE

Modèle dela tâche

Modèle del'usager

Historiquedu dialogue

FUSIONINTERPREATION

Modèle dedialogue

Modesd'interaction

Historiquedes évts

INTERFACE

NUM NUM

SOFT

WA

RE

NUM

HA

RD

WA

RE

Le composant vocal…1. Moteur2. Filtrage acoustique3. Filtrage linguistique4. Lexique5. Rehaussement 6. Rejet 7. Analyse sémantique8. Synchronisation9. Fusion10. Transduction phonétique 11. Prosodie

ReconnaissanceCMC

Fusion

SynchronisationCalibrage

Lexique

Analysesémantique

Filtrageacoust.

Rehausst.

Transduction phon.

Rejet

Filtrage linguistiqueHypothèses

actes de parole

Séquencesreconnues

voie 1

voie 2

signalexterne

Prosodie

Apprentissage

La boucle « à événements »

Phase d'introduction Etat courant Réception des événements Analyse et interprétation si incohérent alors modification ou abandon si incomplet ou ambigü alors explicitation si invalide alors explication si validé alors exécution si demande aide alors aide Prédiction actions suivantes selon type utilisateur proposition aide Analyse du comportement de l'utilisateur remise à jour du modèle utilisateur Phase de conclusion

Sortie

Entrée

ARCH : Seeheim révisé

Adaptateur de noyau

fonctionnelNoyau

Fonctionnel

Contrôleur

de Dialogue

Techniques de

PrésentationInteracti

on de Bas

Niveau

ARCH : ex. système Matis

Adaptateur de noyau

fonctionnelNoyau

Fonctionnel

Techniques de Présentation

Phrasesreconnues

Interaction de Bas NiveauEntrées et Sorties graphiques

Système de fenêtrageQueues d'événements

Interface Builder

Entrées en langage naturel

Parser (Grammaires)

Mapper

Vocabulaire

Contrôleur

de Dialogue

Reconnaissance

ARCH : ex. système Matis

Adaptateur du

Contrôleur de Dialogue

Noyau Fonctionnel

Techniques de

PrésentationInteracti

on de Bas

Niveau

Requêtes sous forme de structure de données

Base de Données

Requêtes S.Q.L.

Requêtes S.Q.L.

Résultats sous

forme textuelle

Traduction

noyau fonctionnel

Modèles à agents

Modularité et parallélisme Conception itérative (modifiabilité) Dialogue à plusieurs fils Mise en œuvre des collecticiels

Correspondance avec l’approche objets Catégorie d’agents réactifs => classe Événement => méthode Encapsulation : l’agent est seul à modifier son

état Mécanisme de sous-classe

MVC (Smalltalk)

M = MODEL la compétence abstraite de l’agent (noyau fonctionnel) V = VIEW le rendu perceptible de l’agent (comportement en sortie) C = CONTROLLER le comportement en entrée

Un agent = 3 facettes Une hiérarchie d’agents

Architecture PAC (Coutaz 87)

Une hiérarchie d’agents

AP

C

AP

C

AP

C

AP

C

Menu

DessinPale

tte

AP

C

P A

Présentation

Abstraction

Contrôle

Exemple : le réchaud

Deux agents : la casserole et le réchaud

ON/OFF

PA

C

TempRéchaudOn/off

PA

C

MasseEauTempEau

TempSource

ObjetSur

ObjetSur

Réchaud(TempSource, TempAmbiant, On, ObjetSur)facette-P

image-réchaudif-MouseClick(button) On ; Color(button)=rougeif-MouseDoubleClick(button) ¬On ; Color(button)=noirif TempRéchaud > Teff image-effluves

facette-Aif-On TempRéchaud=F+(TempRéchaud, t)

else TempRéchaud=F-(TempRéchaud, TempAmbiant, t)facette-C

if-ObjetSur TempSource = TempRéchaud

Casserole(TempSource, TempAmbiant, TempEau, MasseEau)facette-P

image-casseroleif-MouseDrag(Réchaud) ObjetSur ; else ¬ObjetSurif TempEau > T100 image-bulles

facette-ATempEau=H(TempEau, MasseEau, TempSource, t)

facette-Cif- ¬ ObjetSur TempSource=TempAmbiant

ARCH-MVC

Techniques de Présentation

Ensemble d'objets d'interaction

Analyse des phrases reconnues

Interface avec le Noyau Fonctionnel

Adaptateur du domaine de l'application

Noyau Fonctionnel

Spécifique au domaine de l'application

Niveau Bas d'Interaction

Système de fenêtrage

Reconnaissance de la parole

Objets d'Interaction

Contrôleur de Dialogue

Objets de Présentation

Objets Conceptuels

Objets du Domaine

Composants indépendants des modalités

Contrôle

Abstraction Présentation

Base d'objets

Base de tâches

ouvrir dilater couper coller écouter etc.

fich cur sona pale etc.

Historique

Réseau d'actions

fichier: a.sig fenêtre:3 fichier: a.ech SYNCH(a.sig) etc

syntaxe

P GV GN V GN GP Mvt etc.

lexique Scripts

Introduction Corps Conclusion

Exemple : agent linguistique

Morpho-syntaxeSémantique

Pragmatique

Perspectives

Interface,tend à posséder...

• des représentations sur l’opérateur, aux plans cognitif et/ou social,• une représentation des capacités perceptives et sensorielles humaines,• un modèle du domaine de la tâche,• un modèle d’interaction et/ou des règles sociales,•  une représentation d’elle-même (pour s’adapter ou pour être plus générique) et de ses différents dispositifs.

Perspectives

Evolutions prochaines ? Multimodalité, multi-sensorialité

parole, geste, langage, vision

Modes de communicationà distance, virtualisés, augmentés 

Diversitépublic, tâches, objets communicants,

environnementLes ingénieurs ne sont pas seuls concernés par les interfaces

Recommandations

A l’ingénieuril manque des outils génériques de spécification

et de génération des interfacesil faut en même temps personnaliser l’interfaceil faut maîtriser tous les dispositifs, les

fiabiliser... il manque des méthodes d’évaluation

A l’ergonomeil faut rechercher une plus grande synergie dans

le processus de conceptionil manque une ergonomie prédictiveil faut une formation adaptée des ingénieurs

Au sociologue, au juristeil manque une « logique » des usagesil y a des problèmes éthiques