Projets du laboratoire Directeur: Jean Caelen (DR CNRS) Directrice adjointe : Catherine Berrut...

Projets du laboratoire

BP 53 - 38041 Grenoble Cedex 9 - FranceFédération IMAG

Communication Langagière etInteraction Personne-Système

Directeur: Jean Caelen (DR CNRS)Directrice adjointe : Catherine Berrut (Prof. UJF)

www-clips.imag.fr

La future société de l’information

Etudier, concevoir et évaluer de nouveaux moyens de communication et de travail• entre personnes• à l’aide d’ordinateurs

À la convergence+ télécommunications + informatique+ objets communicants+ …

Interactions homme-machineInteractions humaines médiatisées par la machineTraitement des informations parole, images,

languesEnvironnements multimédia et hypermédia pour la formationEnvironnements perceptifsIndexation de documents multimédiaIngénierie de l’interaction et réalité augmentéeInteraction verbale et dialogue homme-machineInterfaces collaboratives et/ou multimodalesRecherche d’informations et/ou documentaireTraduction automatiqueTraitement de la langue, multilinguismeTraitement de la parole

Thèmes de recherche

Structure

Direction

Recherche• ARCADE• GEOD• GETA• IIHM• MRIM

Con

seil

de la

bo

Equ

ipe

de d

irect

ion Soutien Technique

• Réseau, Serveur• Projets

Soutien Administratif• Secrétariat• Gestion des RH• Gestion financière• Gestion des moyens• Communication

Valorisation• MultiCom

Effectif : 85 (permanents + thésards)UJF, CNRS, INPG, UPMF, US

Equipes de recherche

ARCADE (J.P. Peyrin, prof. UJF)Ateliers de Réalisation et de Conception d’Applications Destinées à l’Education

GEOD (J.F. Serignat, MCF INPG)Groupe d’Etude sur l’Oral et le Dialogue

GETA (C. Boitet, prof. UJF)Groupe d’Etude sur la Traduction Automatique

IIHM (J. Coutaz, prof. UJF)Ingénierie de l’Interaction Homme-Machine

MRIM (M.F. Bruandet, prof. UJF)Modélisation et Recherche d’Informations Multimédia

Valorisation

MultiCom : Plate-forme technologique pour la conception et l’évaluation des systèmes interactifs

Autres aspects de la valorisation

1998 : Création de la start-up NOVADIS (UJF + INRIA),

1999 : Création d’une entité industrielle ARLYS (MENRT, CARMI, Microsoft, Axe et Cible), service d ’exploitation de réseau pédagogique,

2000 : Le projet Spatio-Guide (prix de l’ANVAR)2001 : Le projet Dmailer en incubation (GRAIN, ANVAR)

Contrats en coursDe recherche• 8 industriels (Thomson, France-Télécom, EDF, Alcatel)

dans RNRT, CTI, DGA ou directs• 2 internationaux C-STAR, UNL et 2 AUPELF• 7 européens NESPOLE (R&D), TACIT (TMR), TIPS

(R&D), ARIADNE (R&D), GLOSS (FET), FAME (FET)• 1 CNRS (Télécom)• 2 RRA Thématique et Emergence 99• 6 IMAG (C-STAR, RICOM, RESIDE-HIS, EPIC, e-

Xperience, Scopie)A travers MultiCom• 6 industriels (Schneider, France-Télécom, EDF), • 1 européen SIRLAN IST 5ème PCRD, 30 mois, • 1 RRA Emergence SHIVA, 1 thématique ISDN• 2 RNRT (PVE, Stylocom)

Collaborations internationalesEurope• Allemagne (Univ. Karlsruhe)• Italie (CNR Pise, IRST Trento)• UK (Univ. Glasgow, Univ. Edinburgh, UCL Londres)• Tchéquie (INP Oztrava)Amérique• USA (CMU Pittsburgh)• Canada (UQAM, UQTR, UQChicoutimi, Ulaval) • Mexique (UDLA Puebla, LAFMI)• Venezuela (Univ. Caracas)Asie• Japon (ATR Nara)• Corée (ETRI Taejong)• Singapour (IPAL labo commun)• Vietnam (MICA labo commun)• Chine (Univ. Pékin)• Malaisie (USM Penang)

Thèmes

1. Traduction de dialogues parlés dans le domaine

touristique et l’e-commerce (GEOD, GETA)

2. Recherche Interactive, Collaborative et Multimodale

d’informations sur le Web (GEOD, IIHM, MRIM),

3. Environnements perceptifs (télé-médecine,

domotique) et objets communicants (GEOD, IIHM)

4. Formation interactive à distance (ARCADE, IIHM)

5. Documents multimédias et multilingues (MRIM, GEOD,

GETA)

C-STAR : Consortium for Speech Translation Advanced Research (Japan, Corea, USA, Germany, Italy, France)NESPOLE! (IST project) : NEgotiating through SPOken Language in E-commerceERIM : Environnement de traduction avec interprétariat

Modules linguistiques : 2 chemins possibles

texte langue source

reconnaissance de la parole

Traduction

Synthèse de la parole

texte langue cible

site qui parlesite qui parle

site qui entendsite qui entend la traductionla traduction

texte IFtexte IF

Analyse vers IF

Génération

L’IF : avantages

• N langues cibles possibles pour le coût d’une

• Exemple pour le français

• Possibilité de rétrogénérer en français pour le contrôle

IF

Analyse vers IF

Génération

Le 22 juillet 1999à Grenoble

Projet ERIM plate-forme de traduction avec interprétariat

Locuteur 1 Locuteur 2

Plate-forme 3 clients (locuteurs, interprète) – 1 serveurConfiguration 3-stations (ou 4-stations) distantes

Serveur +

Interprète

traduction

traduction

énoncé de parole

énoncé de parole

traduction

traduction

HALPIN : Dialogue homme-machine en langage parléVitesse : Visualisation d’une grande quantité d’informationsCoVitesse : Navigation coopérative dans une grande masse d’informations

HALPIN : Dialogue en langage naturel pour la recherche d’informations sur le Web

J'ai trouvé 1206 documents ayant comme thème intelligence artificielle . Voulez-vous affiner votre requête ?

Qu'est ce que tu peux me proposer sur ... heu, l'intelligence artificielle ?

Historique du dialogue

Boîte de dialogue de l’usager

Réponse écrite de la machine (avec hyperliens)

Zone de détails d’un document

Boutons pour les interactions vocales

Module de reconnaissance vocale pour IBM ViaVoice

VITESSE

• Une interface graphique aux moteurs de recherche du WWW

• La récolte de nombreuses informations jugées pertinentes

• La représentation multiple et de nombreux outils de navigation

Application : VITICOL

Navigation collaborative asynchrone

Pertinence sociale en plus de la pertinence "système"

Demande d’opinion à chaque information visitée

Visualisation des statistiques d’opinion dans une lentille magique

COVITESSE

• Navigation collaborative synchrone sur le Web

• Définition des types de navigation synchrone :– questionner un autre utilisateur,– rechercher en groupe en partageant ses trouvailles, – faire visiter, tel un guide dans un musée, un

ensemble de pages à des groupes,– être conscient de l’activité de groupe et agir dans ce

sens.

Interface pour la navigation collaborative

SIRLAN : DomotiqueRESIDE-HIS : Habitat Intelligent SantéCOMEDI : Communication Mediatisée InformelleMagic Board : tableau augmentéCASPER : Chirurgie augmentéeLes objets communicants…

SIRLAN : domotique

Plasticité des interfaces

IHM

concrète

IHMfinale

IHM

concrète

IHM

finale

Mac/PC Pilot

Tâches&

Concepts

IHMabstraite

Tâches&

Concepts

IHM

abstraite

IHM

concrète

IHM

finale

WAP

Comment obtenir toujours et partout la même qualité d’information ?

Reside HIS : maintien au domicile

Intelligence locale / distante - Mémoire d’événements- Identification

Horodatation- Communication

Présentation des données

Réseau Téléphonique Public

Modem

HModem

Bus domotique

Capteurs de données physiologiques- fréquence cardiaque- tension artérielle- poids- pression intracrânienne- pression oculaire- …

Capteurs de sons, d'appels...

Plan de l'HISexpérimental

Capture acoustique

CoMedi : Espace de communication informelle

Observabilité publiée et filtrée, Réflexivité, Réciprocité

Awareness, Focus

Autorisations d’accès

Ctrl social dynamique

Filtre EigenSpace: Analyse en Composante Principale (J.Crowley)

Base des images publiables Eigen Space

Image source Image envoyée

Exemples de filtres de publication

Poster

Stores vénitiens

EigenSpace

Tab

leau

mag

iqu

e

Tab

le m

agiq

ue

Tab

leau

mir

oir

Ch

iru

rgie

au

gm

enté

e

CASPER (Computer ASsisted PERicardial puncture) aide le chirurgien à amener une aiguille de ponction à proximité du cœur afin de ponctionner un épanchement.

Arc

héo

log

ie a

ug

men

tée

FORMID : FORmation Interactive à DistanceARIADNE : Plate-forme orientée formateur

FORMID : FORmation Interactive à Distance vise à fournir un ensemble cohérent de solutions opérationnelles permettant à distance d’assurer la création, l’adaptation et l’exploitation effective de ressources pédagogiques de type « simulation »

FORMID

GeneSimuOasisTableau magique

ARIADNE : une plate-forme orientée formateur OASIS (Outil Auteur de Simulations Interactives avec Scénarios)

GenEval (Générateur d’exercices d’auto-évaluation)

TIPS, THEOREME, ASCII : Recherche d’information et production de portails avec outils innovants, indexation multimédia

FEV : dictionnaire Français-VietnamienUNL : Traduction de l’écrit par langage pivot. 16 pays

participants

THEOREME

Thématisation des Médias par Reconnaissance Vocale

ASCII : Architecture Sémanti-Cognitique d’Indexation d’Images

Imag

e

Pré- Filtrage

Interactions adaptatives

Fusion

Rep

rése

ntat

ion

Segmentation grossière et rapide

Processus attentionnels

Rétine Cortex primaire

Aires associatives

Fonctions “supérieures”

Contrôles

Elaboration d’un modèle

Objets Sémantiques

Extraction d’attributs

Scène

X

Y

I II IIIa

IIIb

Psychophysique : Mouvements

OculairesIV

Psychophysique et IRMf : Images Hybrides

V & VI

Système de Recherche

d’Information :

Outils statiques

Outils dynamiques

Cones H-Cells X-Parvo

ON-Bip OFF- Bip Y-Magno

Simulation des réponses spatiales de différents cellules de la rétine. (travaux du LIS)

score(icl>event, agt>human, fld>sport)

.@entry.@past.@complete

goal

head(icl>body)

Ronaldo

corner

goal(icl>thing) left

obj

posmod

agt

plc

met

"Ronaldo marqua de la tête dans le coin gauche du but"(encodage à partir d'une phrase originalement en russe)

Dictionnaire Français => (anglais) => Vietnamien…….au projet PAPILLON

Plateau d’expérimentationdes systèmes interactifs

Plateau d’expérimentationdes systèmes interactifs

Objectifs

• Etudier les usages et l’ergonomie en situation de travail• Fonder des méthodes prenant en compte les facteurs humains dans le cycle de vie des systèmes interactifs• Concevoir et évaluer les systèmes dans une approche ethnocentrée et participative• Instrumenter les méthodes de recueil et d’observation en SHS

Le cycle de conception en spirale

La démarche

La force de la démarche réside dans le fait que tous les critères (a) d'usage, (b) d'utilisabilité, (c) économique,(d) technologique sont pris en compte, au plus tôt.

Idée

Fonctions

CC

Scénario

ObservationRecom-

mandation

Validation

Maquette

Evaluation

UsageUtilisabilité

UsageUtilisabilité

Domotique

Elaboration d’hypothèses (services, activités, interactions)

ScenariosMaquettesQuestionnaires

Environnement simulé

ObservationsInterviews

Methode pour les usagers (SIRLAN project)

Domotique

Usage en famille (profils, activités, contrôle)Prérequis (disponibilité, mémoire, préférences)Interface adaptée au besoin (fonctions éclatées, plasticité)Guidage, aide, compatibilité dans les servicesFacilité de souscription (certification, paiement)Sécurité et souplesse d’utilisationConfidentialitéQualité de serviceFacteurs d’environnement (confort, mobilité, multi-tâches)

Résultats pour les usagers

Domotique

15 critères :• Assimiler la nouvelle technique• L’intégrer aux pratiques courantes• Adapter l’innovation au métier• Mesurer les changements dans l’environnement

professionnel

Méthode et résultats pour les installateurs

Domotique

Catégories d’installateurs :• Electriciens• Fabricants• Domoticiens

Méthode et résultats pour les installateurs

Interface (screen & buttons) No Yes

Global system YesNo

Computer using YesNo

Remote services YesNo

Electriciens Domoticiens

Bus No Yes

Fabricants

Yes

?

?

No

?

? : dépend de la spécialité

OculométrieProjets SHIVA et ISDN évaluation de documents électroniques

• Trajectoire• Points de fixation

fovéale– à 100 ms (perception)– à 250 ms (cognition)

• Vision périphérique• Densité des points

OculométrieDeux types de résultats

• Recommandations

• Diagnostics

Approche clientDisposition grille

Les internautes recherchent des infosLe texte sert d’ancrageLa légende ou le nom de l’image sont mieux mémorisés que l’image

Comparaison de versionsMesure de l’efficacitéMesure de la qualité

Conclusion… CLIPS est…

• Un laboratoire de l’IMAG : UJF/CNRS/INPG

• Organisé autour de projets de recherche• Ouvert sur la valorisation

BP 53 - 38041 Grenoble Cedex 9 - FranceFédération IMAG

Communication Langagière etInteraction Personne-Système