Responsable et intégration

Conception, maquetteÉvaluation

Reconnaissance

Analyse usages

BP 53 - 38041 Grenoble Cedex 9 - FranceCNRS - INPG - UJF

Communication Langagière etInteraction Personne-Système

Portail Vocal d’Entreprise

Objectif scientifique : un modèle de dialogue générique

Une recherche de raisons de l’action (but, intention, engagement, etc.) plus profondes pour modéliser le comportement dialogique

Un souci de trouver les bons cadres de dialogue dans une relation dialogue / tâche la plus indépendante possible

Solution ? extension de la logique illocutoire

Objectif économique : développer des services vocaux

 

Le téléphone mobile est un vecteur essentiel de développement de services vocaux innovants

  Usage répandu Coût décroissant Pratiques en évolution Faible apprentissage Objet personnel Tarification aisée

• Les pratiques : Au CHU entre brancardiers et service de gestion : contraintes de

mains libres, mobilité, nécessité de planifier les déplacements de malades

Les cadres d’une grande entreprise : utilisent dès qu’ils peuvent les connexions Internet par PC portable

Les professions libérales (notaires) : renseignement, recherche de références de documents ou de textes

Les secrétaires de l’université : renseignement par téléphone, services divers comme prise de rendez-vous, réservation de salles, redirection d’appel, prise de messages

• La signification de l’usage : Forte pour des tâches ciblées : résolution de problème,

confirmation en face à face

Usage-utilisabilité

• Concurrence d’autres médias : (faiblesses du téléphone) e-mail : documents attachés, envois groupés, rédaction et réponse

différées, traces et archivage, pas d’attente du correspondant, relance automatique

Fax : documents authentifiables, sécurité de transmission• Forces du téléphone : Mobilité, langage naturel, confidentialité, dispositif très répandu et

peu coûteux Utilisé pour : messages courts (renseignement, confirmation),

sémantiquement riches, urgence, authentification du correspondant (pas d’intermédiaire)

• Conclusion : développer des services à l’aide d’agents/assistants conversationnels

Usage-utilisabilité

• Quoi y trouver ? Des services d’assistance : recherche d’une personne, gestion

d’agenda, réservation de salle, organisation de réunions, imprévus, urgences, recherche d’information

Des services personnels : mémorisation de messages, envoi de messages différés, annonces, notes personnelles

• Comment y accéder ? Par téléphone mobile en y harmonisant d’autres médias : e-mail,

fax, Internet Dans les deux sens : appel vers le portail et par une procédure de

rappel depuis le portail• Conclusion : accès multimodal, services intégrés, médiateur

conversationnel

Un portail vocal d’entreprise…

Organisation d’une réunion

Exemple de service intégréR

éser

vati

on

sal

le

Ap

pel

du

ser

vice

Déf

init

ion

cré

nea

ux

tem

ps

Par

tici

pa

nts

temps

En

voi

mes

sag

e

Do

cum

ents

Par

e-m

ail

: a

nn

on

ce

Co

ntr

ain

tes

Co

nfi

rmat

ion

Ap

pel

des

pa

rtic

ipan

ts

Rés

ult

at

Rap

pel

co

rres

po

nd

ant

• La reconnaissance de la parole : aspects multilocuteur et multilingues, canal téléphonique, robustesse, couverture linguistique (en particulier noms propres)

• L’analyse sémantique : richesse des concepts, complexité des énoncés, sens commun, couverture sémantique

• L’analyse pragmatique : représentation du discours, référents à la tâche et au discours, connaissances mutuelles

• La gestion de la tâche : planification vs. action située• La gestion du dialogue : pertinence des stratégies, généricité du

modèle• La génération : degré de force illocutoire, effets perlocutoires• La synthèse de la parole : prosodie du dialogue

Verrous en dialogue oral

• Recueil de dialogues : sur le terrain• L’analyse structurelle : articulation du dialogue,

connaissances, thèmes• L’analyse pragmatique : simulation par Moz

Études préalables

Expose le problème C (intro ?° générale)

Série de ?° A-Quand ? -pour quoi ?

Confirm° RESA- chmb C

Echec

Réussite

C - Dem dispo Salle [+ RSG-mat] ‘’ ‘’ Chambre [date donnée par C ]

mise en attente - A Consult° agd

Série infos fonctionnement-A

Série de ?° RESA-chambre C-Prix / Services ? C-Itinéraire C (+explic° iti. A)-Prop° envoi fax C-Dem. Infos div. C

RESA-chamb.-Série de ?° A-Nom ? A-Organisme ? A-Dates / périodes A

Possibilité Modif° C

Remerciements+

Salutations (A & C )

[Validation - A]

Pb dates - ERR C.

Act° = A RESA ou QUASI-RESA

Résumé A Résumé C

Paiement de la facture - A

Modif° C (Act° = modif° annul° + réservat°)

Act° = annulation A

Négoc° C

C dem coord de A (mail…)

Explic° (de A à C..)Act° = A confirm°

RESA-salle-Série de ?° A-Heures ? Quand ?-Type salle ?-Date ?-Organisme ? Nom ?-Sujet / Motif ?

PROP° ou SOL°

Act° : Demande envoi mail de confirm° A

Annul° RESA-salle CDonne l’info.

Echec

La réservation

Historique

Compréhension

Chaîne orthographique

Gestion de la tâche

Interprétation

Gestion du dialogue

Génération

Action sur le monde

Acte de langageSchéma

ReconnaissanceModèles Acous.

Modèle Lang.

Référents Tâches

Enoncé oral

Stratégies

Contexte tâche

Référence discours

Synthèse TTS

Enoncé oral

Plan

Morpho-syntaxe

Concepts

Buts dialogiques

ObjetsConnaissances

Architecture

But

Le modèle de dialogue

 

Le « jeu de dialogue » est réglé par :• des règles de déclenchement de stratégies,• des règles de comportement,• un mécanisme de contrôle du but,• des règles de reprise/relance par des sous-dialogues.

Ce jeu est indépendant de la tâche

Le but du jeu

Motive et oriente le dialogueLe dialogue est une action conjointe

Avancement

Requêtes Répliques

Mises en cause

Mises en question

Offres Demandes

But

Demandeur Répondeur

U : "dessine un triangle"M : "pouvez-vous préciser ?"U : "équilatéral"M : "de couleur rouge ?"U : "peu importe"M : "OK"

Dessine un triangle Pouvez-vous préciser ?

Équilatéral

De couleur rouge ?

Peu importeOK

Stratégies

  

Manière de gérer un échange pour satisfaire le but (les rôles peuvent changer au cours des échanges)

Direction d’ajustement des butsSoit bX le but de X et by celui de Y en début d’échange. Au cours de

l’échange on peut avoir :

1. @ bx au profit de by : X est réactif (by @ bx=Ø)2. Imposition de bx à Y : X est directif (bx @ by =Ø)3. Partage des buts : X, Y sont coopératifs (bx by )4. Recherche d’un compromis : X, Y négocient (bx b’ by)5. Détour constructif : X, Y font une incidence (bx Ø by)

Causes d’échec : incompréhension, incidence ou rupture, assertion fausse, présupposé erroné, action impossible, erreur ou mensonge

Exemple de modélisation : Directif

 

Règle : Au début l’initiative est à la machine pour lui permettre de “se” présenter et de connaître son interlocuteur. Elle doit être pour cela en mode directif. Elle revient à ce mode dès qu’une incompréhension surgit (pour éviter le risque de bouclage ou d’impasse).(( = 0)) v (FS

U(directif)) v (FSM(erreur)) (directif)

Comportement :FA

Mp CMp CMCup) M fait un acte et en enregistre les effets

FFMpCM(FA

Up) CMp M fait-faire un acte, U est supposé exécuter

FSMp CMCup) M donne une info. et suppose que U l’accepte

FFSMp FS

Upv FFSUp M pose une question, et attend de U une réponse

FSUp CondS(p) CMp U donne une information, M l’enregistre

nonvide(p) CondS(p)FS

U(contestation) négociation) si U conteste il y a changement de stratégie

FFSUp CMp FS

Mp U pose une question de clarification, M y répond et

reprend l’initiative

FDMp CM(FA

Up) CMp M fait-faire un acte, U est supposé exécuter

Le contrôle du dialogueUSAGER MACHINE

FUp

Cycle suivant

• AnalyseDécoupage de l’énoncé reconnu en segments conceptuelsCalcul de la composante locutoire (si échec sous-dialogue de clarification)

• Planification du dialogue Recherche du type illocutoire Calcul de la stratégieRecherche du but b (si échec sous dialogue de réparation) Ordonnancement des buts en attente dans la pile

• Planification de la tâcheCalcul du plan d’action découlant des plans appris de la tâcheConstruction des connaissances partagées (si échec sous-dialogue d’explication)Mise à jour de l’historique

• Planification du dialogueRemise à jour du modèle utilisateurCalcul de la composante illocutoire : quoi faire

• GénérationCalcul de la composante locutoire : quoi direCalcul de la composante perlocutoire (degré force illocutoire) : comment le direMise à jour de la situation, synthèse de la paroleFMp

FUp

U0 : allô, ici Olivier CausseM0 : bonjour, Vocalisa à votre service monsieur CausseU1 : je voudrais organiser une réunion de travailM1 : oui, pour quelle date ?U2 : quelles sont les disponibilités ?M2 : avez-vous une préférence de salle ?U3 : nous serons moins de 10 personnesM3 : la salle Lafayette est disponible jeudi et vendredi prochains. Voulez-

vous que je la réserve ?U4 : préviens d’abord les membres du projet PVE sauf Luc Rodet et tiens-

moi au courantM4 : très bien, souhaitez-vous un message particulier ?U5 : non un message standard par e-mail mais avec relance téléphoniqueM5 : entendu je vous rappelle. Au revoir.

Exemple de session

 

M0 : allô, ici Vocalisa. Je vous téléphone pour la réunion que vous souhaitez organiser jeudi. Vous êtes bien Olivier Causse ?

U0 : oui.M1 : j’ai recueilli les disponibilités des membres PVE. Jeudi et vendredi

pour Solange Hollard et vendredi pour Jean Caelen et Evelyne MillienU1 : bon, eh bien prévenez-les pour vendredi et confirmez la réservation de

la salle Lafayette. Au revoir.M2 : entendu, au revoir.

Après itération sur tous les membresM0 : allô, ici Vocalisa. Je vous téléphone pour une réunion. Vous êtes bien Jean Caelen ?

U0 : oui.M1 : je vous ai envoyé un e-mail de la part de Olivier Causse pour une

réunion jeudi ou vendredi. Serez-vous disponible ?U1 : non, seulement vendredi pour cette semaine.M2 : merci. Je lui en fait part. Au revoir.

Après envoi du message par e-mail…

Conclusion

  

La reconnaissance : WebSphere La compréhension : UNL et ses analyseurs L’interprétation pragmatique : autour de la SDRT La gestion du dialogue : en JESS La gestion des tâches : avec MAD La génération : UNL et ses générateurs La synthèse : WebSphere

Pour PVE, la compréhension et la génération ne sont pas des problèmes centraux (il existera dans le futur des outils à large couverture linguistique)

Mais l’interprétation pragmatique reste le problème le plus difficile à résoudre