Présentation à lASP NID 24/02/03 – Guillaume Pitel1 Dialogue Finalisé et Navigation Interactive dans les Documents Mise en parallèle autour de la référence

Présentation à l’ASP NID 24/02/03 – Guillaume Pitel 1

Dialogue Finalisé et Navigation Interactive dans les Documents

Mise en parallèle autour de la référence


1. Retour sur l’objectif de l’ASP

• Dialogue Finalisé– Qu’est-ce que c’est– A quoi ça sert ?

• Dialogue Finalisé et NID– Adaptation à la navigation interactive– Intérêt du dialogue

• Proposition


1.1. Qu’est-ce que le dialogue finalisé ?

• Imitation d’un sous-cas du dialogue humain, viable pour la mise en œuvre informatique.

• Un des interlocuteurs est remplacé par un ordinateur, et joue le rôle d’un exécutant possédant un contrôle étendu sur une application.

• Le dialogue finalisé implique que le contexte du dialogue soit clairement limité à un domaine et une tâche précise

Perceptions communes

Connaissances communes

Perceptions communes

Connaissances communes


1.1. Qu’est-ce que le dialogue finalisé ?

Déterminé par deux critères :

• Domainedétermine les champs sémantiques et les connaissances ontologiques générales nécessaires pour soutenir le dialogue. Par exemple, une application de réservation de train va utiliser le vocabulaire du voyage, des horaires, des villes.

• Tâche détermine les structures sémantiques à construire (connaissances ontologiques spécifiques à la tâche), les structures dialogiques à gérer et les connaissances pragmatiques à prendre en compte (entités gérées par l’application et qui peuvent faire l’objet de références dans le discours, historique des événements)


1.1. A quoi sert le dialogue finalisé ?

• L’intérêt principal du dialogue finalisé réside dans le fait qu’il soit adapté aux utilisateurs novices.

• Il permet théoriquement un accès plus rapide et plus intuitif à des fonctions complexes des applications.

• Il permet théoriquement la génération de réponses plus naturelles aux requêtes de l’utilisateur.

• Toutes les mises en œuvre existantes du Dialogue Homme Machine sont des applications de dialogue finalisé (sauf les Eliza-like qui ne sont pas vraiment du DHM). Et on ne sait absolument pas faire du dialogue général.


1.2. Navigation Interactive dans les Documents

• Objectif à long termePermettre à un utilisateur novice de naviguer dans un document ou un ensemble de documents hétérogènes. La navigation se décompose en deux axes : – Navigation dans la structure

– Navigation dans le contenu

• Programme prévu– Première année :

• 1) Accent mis sur les outils de structuration de représentation et de médiation de documents.

• 2) Etude des modes de parcours dans les applications cible :

– Deuxième année :• Accent mis sur les outils de navigation multimodaux et l'architecture système pour la navigation monodocument :

• Interaction et traitement de la communication multimodale,

• Analyse de requêtes isolées en LN,

• Assistance sur le fonctionnement fondée sur le raisonnement sur les actions.

– Troisième année :• Accent mis sur les outils d'interaction inter documents : généralisation au multi (multi-documents, multi-requêtes)


1.2. Dialogue finalisé et Navigation Interactive dans les Documents

• DomaineForte dépendance au contenu du ou des documents dans lesquels on navigue. Seul cadre commun : la structure des documents, avec des points communs comme les titres, résumés, sections, paragraphes, etc. et la navigation interactive, qui détermine assez fortement le champ sémantique des actions (aller à, faire voir, ?) et l’utilisation de questions.

• TâcheDépendante du type de document : selon que l’on a affaire à un cours, à un manuel de référence où à un catalogue, l’objectif de l’utilisateur ne sera pas le même, et donc la gestion du dialogue en sera modifiée.


1.2. Dialogue Finalisé et Navigation Interactive dans les Documents• Ce qu’on voudrait faire

Un système de dialogue finalisé commandant une application de navigation dans les documents, intégré à un système multimodal.

• Apports– Interface Linguistique : Plus rapide qu’une interface graphique (est-ce nécessaire pour la

NID ?), plus naturelle, permettrait de naviguer dans les très gros documents.

– Questions Q&A : résultats plus fins que les moteurs de recherche, sans nécessiter l’apprentissage d’un langage de requête évolué.

• Problème– Le fait que le domaine dépende des documents sur lesquels on navigue fait qu’on devrait se

concentrer sur des documents autour d’un thème précis. En effet, le domaine doit être fixé pour permettre de déterminer les corpus à utiliser pour entraîner la reconnaissance vocale, mais aussi pour définir l’ontologie permettant l’analyse sémantique des énoncés.

– Comme le domaine varie d’un document à l’autre, il n’est pas possible de créer une application générale de NID qui pourrait prendre n’importe quel document, même structuré. De même, Q&A nécessite peut-être une adaptation pour de nouveaux documents.


1.3 Conclusion

• La navigation interactive dans les documents ne peut pas être traitée par du dialogue finalisé, puisque le domaine d’application ne peut pas être restreint arbitrairement et qu’on ne sait pas faire du dialogue sans domaine fixé. Il est donc nécessaire de se focaliser sur un domaine et un type de document, ou alors abandonner la piste du dialogue.

• Dans tous les cas, l’objectif initial de l’ASP devrait être revu. Il faut peut-être se contenter soit de naviguer dans un seul genre de documents, soit ne pas avoir d’interface dialogique tel que c’était prévu à l’origine.

• Finalement, il faut se poser la question : Est-ce que la navigation dans les documents ne serait pas plus aisée avec une table des matières, des liens hypertextes et une barre de navigation classique qu’avec une interface linguistique ?


1.3 Proposition pour Navigation Interactive dans des Documents• Il est peut-être préférable de se limiter à faire une interface

« clavier » à Q&A, ce qui permettrait de généraliser facilement l’interface pour n’importe quels documents, et laisser de côté la navigation dans la structure par interface vocale, qui empêcherait d’être générique, et dont l’intérêt est limité.

• On se contenterait alors de définir une interface visuelle pour la navigation, incluant potentiellement les structures hiérarchiques et thématiques, et offrant la possibilité de poser une question à Q&A pour diriger l’utilisateur sur le ou les endroits du document où pourrait se trouver la réponse.


2. La référence dans le dialogue finalisé• Référence aux éléments de l’application

• Référence dans NID

• Mes travaux


2.1. La référence aux éléments dans le dialogue finalisé• Dans un dialogue, l’utilisateur commande une application par la voie

du langage. Cette application « s’expose » à l’utilisateur via des objets accessibles par des perceptions directes ou des inférences.

• Ces objets accessibles à l’utilisateur vont être désignés par celui-ci, dans son discours, par des références.

• La différence entre la référence par recherche d’antécédent, qu’on trouve dans les travaux sur la compréhension de texte, et la référence dans le cadre du dialogue homme-machine tient dans le fait qu’on ne peut plus se contenter de considérer la référence comme une recherche d’antécédent textuel, mais comme la recherche d’entités ayant une représentation construite dans la « mémoire » du processus informatique qui analyse la langue. C’est ce que Romary et al. désignaient sous le nom de Représentation Mentales dans le projet CERVICAL.


2.1. La référence aux éléments dans le dialogue finalisé• En général, dans les systèmes de dialogue, la résolution

de la référence est dédiée à un module spécial qui fait le lien entre l’aspect linguistique et la représentation informatique des applications.

• Le module de résolution de la référence reçoit un groupe nominal et cherche le ou les objets auxquels ce GN réfère. Le processus de recherche est toujours en partie ad hoc, et dépend :– Du type des objets de l’application– De leur représentation interne– Des caractéristiques, intrinsèques ou extrinsèques, qui sont

utilisées pour les désigner


2.2. La référence dans le cadre de la NID• Accès au contenu du document : trop complexe pour

être construit intégralement on doit passer par des techniques de fouille de texte

• Accès à la structure du document : assez simple à gérer (voir travail de Romain Turner), mais l’intérêt de traiter cet accès par la langue reste à démontrer. On doit nécessairement faire une expérimentation à la Magicien d’Oz pour savoir quel est l’usage de ce type d’accès dans le cadre d’une utilisation réelle.

• A défaut d’expérimentation, on ne pourra pas affirmer que l’utilisation du dialogue est intéressant pour la navigation dans les documents.


2.3. Mes travaux sur la Résolution de la Référence

• Objectif : traiter la résolution de la référence de manière plus fine tout en étant générique.

• Pourquoi fine ? Actuellement le modèle dominant est prédicatif, par exemple pour trouver à quoi réfère l’expression « le grand carré rouge », on cherche tous les X tels que carré(X) et grand(X) et rouge(X). Or cette approche ne permet pas de prendre en compte le rôle du contexte, ni d’expliquer certains phénomènes.

• Pourquoi générique ? Les approches utilisées pour résoudre la référence sont spécifiquement adaptées à chaque cas, ce qui impose de réécrire une grande partie du système à chaque fois que l’on veut l’adapter pour une nouvelle application.


2.3. Proposition pour la résolution de la référence • Basé sur le modèle de Salmon-Alt et Romary.• Représentation des extracteurs référentiels

intrinsèques, relationnels et typologiques sous forme fonctionnelle plutôt que prédicative.

• Extracteur référentiel = terme caractérisant un élément, par exemple « grand », « à droite », « carré ».


2.3. Proposition pour la résolution de la référence • Le principe est de remplacer les critères de

différentiation prédicatifs proposés par Salmon-Alt et Romary par des fonctions de différentiation permettant de trier selon un certain critère les entités de l’application, et de partitionner l’ensemble obtenu en fonction de la typicalité des éléments.

• Les fonctions de différentiation permettent de calculer un rapport de similarité entre deux entités, selon un certain axe sémantique (par exemple la grandeur)


2.4. Vers la généricité dans la résolution de la référence• On entend par généricité la capacité d’un système à

représenter différents points de vue, et non pas le fait qu’un système comprenne le dialogue général.

• Dans l’approche classique, si l’on s’en tient à un filtrage par prédicats, la seule représentation possible est une représentation par structure d’attributs. De plus une seule représentation est possible pour un attribut donné.

• On remarque qu’en pratique, les applications peuvent adopter des points de vues hétérogènes sur les mêmes choses. D’où le problème de généricité que pose la conception d’architecture pour le dialogue finalisé.


2.4. Vers la généricité dans la résolution de la référence• Notre proposition est que les fonctions de

différentiation s’appliquent sur des entités typées, qui sont des représentants (ou points de vue) des objets de l’application.

• Le concepteur d’une application doit alors fournir des traducteurs pour passer des objets aux entités typées, s’il veut que les extracteurs référentiels puisse les prendre en compte.


2.4. Exemple de traduction objet de l’application entité typée

Obj1_Carré_IMPLXX :INST01

Couleur : (.34, .53, .90)

Taille : 1.3

Objet-coloré-RGB :INST02

Couleur : @RGB_coul_INST01

Objet-coloré-Générique :INST03

Couleur : @RGB_coul_INST01

RGB_coul :INST04

Red : .34Green : .53Blue : .90

Couleur-Générique :INST05


Conclusion

• Mes travaux sont encore très prospectifs• Leur apport du point de vue de l’ASP n’est pas

du tout évident, étant donné la position intermédiaire de NID entre Dialogue et Texte, et ma position résolument sur le Dialogue Finalisé.

• Je peux en revanche apporter ma contribution pour développer une application permettant de mettre en route l’expérience qui nous permettra de récolter un corpus et d’avoir une validation sur l’apport de l’interface linguistique dans le cadre de la NID.