Introduction à l'informatique linguistique

Mathieu Constant, Eric Laporte

Licence d'informatique 3

Université de Marne-la-Vallée

IGM

Cours 12

Dialogue

Dialogue

Applications liées à la simulation d'un dialogue

- réservation de voyages

- réponse à des questions

- interface téléphonique pour courrier électronique

- génération de comptes-rendus de réunions

La plupart de ces applications nécessitent la reconnaissance de la parole de l'utilisateur

Reconnaissance de la parole

Entrée

Un signal de parole capté par un micro

Sortie

Du texte écrit

Difficultés

Interruptions Il me faudrait le... vous avez le suivant ?

Répétitions Il me faudrait le... il me faudrait le suivant

Chevauchements A que[lle heure ?] - [Pardon], le 7 mai

Ambiguïtés Qu'elle freine ? Quel frêne ?

Euh A quelle heure ? - Euh, à, euh, 18 heures

Prosodie Qu'elle freine ? Quel frêne ?

Reconnaissance de la parole

Prosodie

Exemple : comparer 72 80 13 et 60 12 93

Intonation : hauteur du son

Volume ou énergie : force du son

Durée de chaque voyelle ou consonne

Phonétique

Exemple : comparer 4 22 et 80 2

[katxvndø] [katxøvdø]~ ~

Tour de parole

Chacun parle à son tour

Après la fin d'un tour de parole, ne pas laisser de pause avant de répondre

S'il y a une pause, l'interlocuteur pense qu'on n'a pas compris

Si l'utilisateur laisse une pause, il faut le relancer

A Il y a quelque chose qui vous gêne ou non ?

B (pause 1 s)

A Oui ou non ?

B (pause 1,5 s)

A Allô ?

B Non.

Signes de compréhension

Chacun signale régulièrement s'il comprend

- réponse cohérente avec le tour de parole précédent

A quelle heure ? - A 18 heures.

- mot de continuation : m-hm, oui, bon, OK, et...

Il part à 16 h 25 - m-hm. - et il arrive à 18 h 55.

Je vais à Lisbonne. - Et vous voulez partir quand ?

- reformulation : Il arrive à 18 h 55. - 18 h 55.

- compléter la phrase de l'interlocuteur

Il y a un autre vol après celui de... - de 16 h 25 ?

- demande de réparation

A quel taux ? - Comment ?

Inférence

- Quel jour vous voulez partir ?

- J'ai une réunion le 12 mai au matin.

L'interlocuteur devine la date du voyage : le 11 au soir ou le 12 au matin

- Vous pouvez me répéter les horaires ?

L'interlocuteur devine que la question ne porte pas sur la possibilité de répéter, mais plutôt sur les horaires

Simulation d'un dialogueLe système contrôle le dialogue et demande une information à la fois

quelle ville de départ ?

donnez le nom d'une ville

où allez-vous ?

etc.

réponse=villeréponse=ville

réponse=villeréponseville

réponse=ville

réponseville

donnez le nom d'une ville

réponseville

réponseville

Simulation d'un dialogueLe système remplit des formulaires (templates, frames) prédéfinis

Formulaire Vol aéroport de départ

aéroport d'arrivée

heure de départ

heure d'arrivée

classe de tarif

compagnie

aller simple/aller-retour

Si l'utilisateur donne plusieurs informations en une seule phrase, le système les retrouve et les sauvegarde dans le formulaire

Classification des actes de dialogue

1. En fonction des actes futurs

Affirmation

Demande d'informations

Demande de confirmation

Influence sur l'interlocuteur

Options

Ordre

Influence sur soi-même

Offre

Engagement

Conventionnel

Ouverture

Fermeture

Remerciements

Classification des actes de dialogue

2. En fonction des actes passés

Réponse à offre

Acceptation

Acceptation partielle

Peut-être

Refus partiel

Refus

Mise en attente

Réponse à question

Compréhension

Avis non-compréhension

Avis compréhension

OK

Répétition

Complétion

Exemple

affirm B Je dois voyager en mai.

dem d'inf, OK A Et quel jour vous voulez voyager ?

affirm, rép B Alors, euh, j'ai des réunions là-bas du 12 au 15.

dem d'inf, OK A Et vous allez où ?

affirm, rép B A Lisbonne.

dem d'inf, OK A Et à quelle heure vous voulez quitter Paris ?

dem conf, att B Ben euh, je crois qu'il n'y a pas tellement le choix.

accept, OK A Effectivement.

affirm Il y a trois vols directs aujourd'hui.

dem d'inf B A quelle heure ?

Exemple

affirm, opt A Le premier part de Roissy à 10 h et arrive à Lisbonne à 12 h 05, heure locale. Le deuxième vol part de Roissy à 17 h 55 et arrive à Lisbonne à 20 h. Et le dernier part de Roissy à 20 h 15 et arrive à Lisbonne à 22 h 30.

accept, OK B Bon, alors je prends le vol de 17 h et quelques, la veille, le 11.

dem conf, OK A Le 11 ?

affirm, OK D'accord. Départ 17 h 55, arrivée à Lisbonne 20 h, par le vol QI 115.

OK B D'accord.

Reconnaissance des types d'actes de dialogue

Utilisation de la syntaxe des phrases

affirm B Je dois voyager en mai.

dem d'inf, OK A Et quel jour vous voulez voyager ?

Même syntaxe, actes différents

ordre B Est-ce que vous pouvez me donner les horaires ?

dem d'inf B Est-ce qu'on sert à manger sur ce vol ?

(est-ce que vous pouvez : souvent un ordre)

dem confirm B Vous dites qu'il y a un troisième vol ?

affirm B J'ai une carte de fidélité avec cette compagnie

(prosodie différente)

Reconnaissance des types d'actes de dialogue

Par des mots et des constructions syntaxiques

Est-ce que vous pouvez... ordre

Par quel... dem d'inf

D'accord OK

Par la prosodie

intonation montante dem d'inf, dem confirm...

Oui avec intonation montante OK

Oui avec intonation stable accept

Par la structure du dialogue

Oui après affirm OK

Oui après offre accept

Reconnaissance des types d'actes de dialogue

Observations disponibles sur le dialogue : O

Séquence d'actes de dialogue : D

P(D|O) probabilité que la séquence d'actes soit D connaissant O

On recherche argmaxD P(D|O) = argmaxD P(O|D)P(D)/P(O)

= argmaxD P(O|D)P(D)

argmaxD P(M|D)P(P|D)P(D)

où M est l'ensemble des observations sur les mots et constructions et P sur la prosodie (on suppose M et P indépendants : approximation)

Reconnaissance des types d'actes de dialogue

On suppose que m et p pour chaque tour de parole sont indépendants des autres tours de parole (approximation)

P(M|D) = P(m1|d1)P(m2|d2)...P(mn|dn)

P(P|D) = P(p1|d1)P(p2|d2)...P(pn|dn)On marque à la main les actes de dialogue dans un corpus

d'apprentissageP(m|d) : pour chaque type d'acte de dialogue on entraîne un modèle

de Markov dont les états sont les motsP(p|d) : on sélectionne quelques caractéristiques prosodiques et on

entraîne un arbre de classification dont les feuilles donnent P(d|p)P(D) : on entraîne un modèle de Markov des séquences d'actes de

dialogue

Séquences d'actes de dialogueModèle de Markov des séquences d'actes de dialogue

ouverture

refus

contraintesuggest

accept

fermeture

0,18 0,36

0,46

0,18

0,77

0,76 0,230,99

0,63

0,22

0,19

Reconnaissance des types d'actes de dialogue

argmaxD P(M|D)P(P|D)P(D)On combine les modèles pour ces 3 probabilités dans un

modèle de Markov caché

- Etats : les actes de dialogue d1 d2...dn

- Observations : m1 m2...mn et p1 p2...pn

Utilisation- à l'exécution : interpréter un tour de parole de l'utilisateur- pour l'apprentissage : interpréter des dialogues enregistrés servant

de corpus d'apprentissage- génération automatique de comptes-rendus de réunions