UNE COMPOSANTE ORALE DE DIALOGUE POUR INTERNETrouillar/publi/1996_Rouillard_DEA.pdf · 4.2 FACOPI : Feuilleteur A Commandes Orales Pour Internet p.34 4.2.1 Objectifs et principes

CLIPS - GEOD José ROUILLARD

Rapport de stage DEA Page 1

UNE COMPOSANTE ORALE DE DIALOGUE POUR INTERNET

SOMMAIRE

RESUME p. 2 1 : INTRODUCTION p. 3

1.1: Objectifs p. 4 1.2 : Méthodologie p. 4 1.3: Internet aujourd’hui p. 5

1.3.1 Le World Wide Web (WWW ou Web) p. 5 1.3.2 La navigation en hypertexte p. 7 1.3.3 Les problèmes rencontrés par les utilisateurs p. 7

2 : LA NAVIGATION AUGMENTEE POUR INTERNET p. 9

2.1 : Comparaison entre différents types d’interactions p.11 2.2 : Etat de l’art du domaine p.12 2.3 : La recherche d’information multimodale p.16

3 : MODELE DE DIALOGUE ORAL POUR INTERACTION SUR INTERNET p.17

3.1 : Modèle de feuilleteur générique multimodal pour Internet p.19 3.2 : Les bases du dialogue et de la navigation augmentée pour Internet p.24 3.3 : Algorithme du processus de navigation

p.27 4 : REALISATION LOGICIELLE : p.33

4.1 Matériel, logiciel et environnement de développement p.33 4.2 FACOPI : Feuilleteur A Commandes Orales Pour Internet p.34

4.2.1 Objectifs et principes de fonctionnement p.34 4.2.2 Fonctionnalités de l’interface p.34 4.2.3 Navigation classique p.35 4.2.4 Navigation vocale p.43 4.2.5 Etat d’avancement du projet p.45

5 : CONCLUSION, RESULTATS ET PERSPECTIVES p.46 6 : BIBLIOGRAPHIE p.48 7 : ANNEXES p.53 TABLE DES MATIERES p.80



RESUME Ce stage d’initiation à la recherche et par la recherche a comme principal objectif une réflexion autour d’Internet et des interfaces homme-machine actuellement disponibles pour accéder à ce qui semble être l'outil incontournable de demain, en matière d'accès aux données électroniquement archivées : le World Wide Web. A terme, il semble important de disposer d’un instrument de navigation convivial, adaptatif et performant pour appréhender la gigantesque masse d’information accessible sur Internet. Des recherches aux Etats-Unis et en France nous permettent de penser qu’une composante orale de dialogue serait appropriée pour implémenter un outil qui autorise à la fois une navigation augmentée et une recherche d’information performante sur un tel réseau ouvert. Ce stage vise donc à mettre au point un modèle de dialogue oral homme-machine pour l’accès aux informations sur Internet. Après avoir mis en évidence les difficultés rencontrées par les utilisateurs du réseau Internet [chapitre 1] et observé l’état de l’art à propos des différentes solutions proposées actuellement dans ce domaine [chapitre 2], nous présentons un modèle de dialogue oral basé sur le principe des réseaux sémantiques [chapitre 3], qui nous a permis de développer une réalisation logicielle [chapitre 4]. Enfin, nous dressons les résultats de nos travaux et envisageons de nouvelles perspectives de recherches dans ce domaine [chapitre 5].



1 : INTRODUCTION Dans cette étude, notre but consiste à soulever des problèmes importants en matière d’IHM en général et d’interaction multimodale appliquée à Internet en particulier. Des travaux commencent à émerger dans ce domaine, mais l’on ne trouve encore que peu d’applications significatives, alliant une navigation sensiblement accrue pour l’usager et une aide à la recherche d’information réfléchie. Notre équipe de recherche (GEOD : Groupe d’Etude sur l’Oral et le Dialogue) du laboratoire CLIPS (Communication Langagière et Interaction Personne-système) s’intéresse entre autres, aux moyens d’augmenter efficacement la communication entre personnes et systèmes, notamment grâce à la mise en œuvre de systèmes conviviaux d’interactions homme-machine. Or, s’il est vrai qu’Internet semble pouvoir offrir une masse considérable d’informations sans limites apparentes, on note cependant que la plupart des feuilleteurs1 actuellement disponibles pour parcourir le World Wide Web présentent quelques lacunes. En effet, victime de son succès, Internet offre tant de choses sur tellement de disciplines variées et diverses que l’on ne sait plus où aller pour obtenir l’information désirée, ni comment procéder pour être le plus efficace possible. Notre intention est donc d’étudier les travaux relatifs à l’intégration d’une composante orale de dialogue pour Internet, d’en déterminer les limites et d’essayer de proposer de nouvelles pistes. D’autres projets de recherche de GEOD s'articulent autour de l'oral, la reconnaissance, la compréhension et l’étude de la prosodie au service du dialogue et de la communication multimodale homme-machine ou homme-homme. Notre contribution se fonde sur ces recherches et s’inscrit dans la continuité de ces travaux, puisque nous avons comme ambition de proposer un modèle de dialogue oral pour Internet et de montrer en quoi l’intégration de la voix peut être bénéfique pour l’interaction homme-machine en matière de navigation et de recherche d’information sur le Web.

1 navigateur, browser, fureteur, butineur Cf. Chap 3 : « Vers un Internet à visage humain » in [ GUEDON 96]



1.1 : Objectifs Internet offre des possibilités infinies pour obtenir des informations de toutes sortes en tout point du globe. Mais les outils de consultation et de recherche sont encore peu évolués. Ce constat nous amène à repenser l'interface d'accès à Internet. Une première étape consiste donc, avant de revoir complètement les logiques d'accès aux informations, à interposer une couche de dialogue entre le réseau et l'utilisateur. Le rôle de cette couche de dialogue est de permettre : - un guidage mieux adapté en utilisant des techniques de dialogue ; - une formulation plus souple des requêtes en utilisant le langage naturel ; - la prise en compte d'une interaction multimodale (parole, graphique, geste, etc.). De ce fait, trois problèmes essentiels sont à prendre en compte : (a) l’adaptation aux nombreux utilisateurs différents qui évoluent sur le Web ; (b) l’adaptation des stratégies de dialogue associées aux processus de recherche et de navigation ; (c) la mise en œuvre d’une composante orale pour la navigation que nous supposons a priori utile et utilisable. Le prérequis à ces améliorations est donc l'introduction de la parole comme moyen de communication de base et d'accès au réseau Internet, à la fois en entrée (reconnaissance de la parole) et en sortie (synthèse de la parole). Un certain nombre de logiciels d'accès (Mosaïc, Netscape, etc.) qui s'imposent de plus en plus comme standard de fait, ont négligé l'aspect vocal. Ils s'appuient sur des habitudes d'utilisation inspirées de l'usage intensif de la manipulation directe (souris et clavier) sans avoir pris en compte les avancées récentes faites dans le domaine de l'interaction multimodale [ANTHONY JAMES 95]. Une approche originale pour remédier aux lacunes des browsers actuels serait alors d’intégrer une interface multimodale2 permettant - en plus du clavier et de la souris - une navigation sur le ‘Web’ grâce à la voix. La voix ouvre des espaces de dialogue par le langage naturel qui permet un guidage mieux adapté, non seulement pour la désignation des liens de la page active, mais aussi dans une approche de recherche d’information : c’est par exemple la question orale : « je veux connaître le cours de l’action Eurotunnel » qui, une fois analysée par un système de reconnaissance vocale3, fournirait les données nécessaires au moteur de recherche (‘Netsearch’, ‘Yahoo’, ‘Lycos’...) pour se connecter au service idoine. 1.2 : Méthodologie Après avoir défini les besoins des utilisateurs, notre travail consiste à s’inspirer des processus cognitifs qui augmentent les probabilités d’acquisition et de compréhension d’une information, pour en faire la base d’un outil plus adapté à l’homme. En effet, la reformulation, la négociation, la négation, la confirmation, etc. peuvent se regrouper sous un terme générique : le dialogue. 2 multimodale alternée (un mode ou bien un autre) 3 système de Word Spotting reconnaissant les mots-clefs d’une phrase.



A partir des travaux de chercheurs [BEAUFILS 96], [NRENNAISSANCE COMMITTEE 94], [HARDIE 96] ainsi que de nos propres observations, il apparaît clairement que la navigation et la recherche d’informations en hypertexte sont plus efficaces lorsque le but profond de l’usager est explicite. C’est pourquoi, nous nous sommes intéressés à mettre en œuvre un modèle reposant sur une architecture des réseaux sémantiques interconnectés. Concernant Internet, des travaux dans ce sens ont déjà été effectués, mais aucun navigateur ne permet actuellement un réel dialogue interactif entre l’homme et la machine. Il semble utile de pouvoir permettre à l’usager de se déplacer de lien en lien, en lui facilitant la tâche au maximum, notamment dans les retours arrières ou pour mémoriser des repères intéressants : pour cela, l’historique (bookmark) existe dans la plupart des browsers, mais il est encore soumis à la volonté d’enregistrement de l’utilisateur (action intentionnelle d'un usager expérimenté et familier du navigateur). Il va s’en dire qu’un système d’historique automatique, enregistrant les différentes opérations et requêtes, permettrait une nette amélioration si les déplacements possibles (avant, arrière, ...) étaient connectés à cet historique ‘intelligent’ et si grâce au dialogue et à la voix, l’utilisateur pouvait le répertorier pour la prochaine session. Dans un tel système, on pourrait faire référence à une page précédemment chargée et donner un ordre de recherche en langage naturel comme : « je veux retourner à la première page ». L’utilisateur aurait aussi la possibilité de nommer une page en se basant sur son contenu informationnel : « je veux revoir la page relative à Mozart. » . On pourrait multiplier les exemples dans lesquels la langue naturelle serait utile dans une telle interaction. Il a été montré grâce aux travaux de Miller que l'homme ne peut en général retenir que 7 ± 2 shunks4 lorsqu'il mémorise des informations cognitives. C'est pourquoi, inconsciemment, l'usager ne traverse que peu de couches d'hypertextes lorsqu’il recherche quelque chose de précis : il se perd très facilement au milieu d'informations systématiquement imbriquées ; il ne sait plus d'où il vient (liens amonts parcourus jusque là) et ce qu'il cherchait à l'origine [BERK 91]. Or, l’intégration de la voix dans un tel environnement hypertextuel serait sans nul doute le moyen d’assister l’usager, dans le sens où elle lui permettra d’élargir ses propres espaces navigationnels, et de repousser les limites des interactions traditionnelles. 1.3 Internet aujourd’hui Les origines d’Internet remontent à la fin des années 1960, dans le département de «projets avancés » de l’armée américaine. Il s’agissait alors simplement de relier des ordinateurs de recherche entre eux. Bien que créé un peu avant Gopher,5 le web connut d’abord une carrière fort discrète. En fait, sa structure hypertextuelle déroutait des esprits disciplinés par la tradition de lecture linéaire imposée depuis longtemps par l’imprimé. 1.3.1 Le World Wide Web (WWW ou Web) Contrairement à ce que beaucoup de personnes pensent, Internet n’est pas que le World Wide Web. Mais c’est certainement le WWW qui a propulsé Internet sur le devant de la scène, et cela particulièrement, grâce à la grande convivialité qu’offrent les interfaces graphiques développées pour gérer les ressources hypertextuelles. « Le succès du feuilleteur Mosaic

4 shunk : mnéme ; information sensorielle représentée sous forme symbolique ( Miller ) 5 Un serveur Gopher offre l’accès à une bibliothèque de textes classés par thèmes



devint tel que la tentation d’en tirer profit s’avéra irrésistible. L’équipe de la NCSA6 se scinda en deux et la fraction passée au monde commercial mit en vente le feuilleteur Netscape qui a largement dominé la scène du W 3 tout au long de 1995.» [GUEDON 96] Nous sommes aujourd’hui entrés dans l’ère de la cyberculture, mais si le préfixe " cyber " renvoie à la notion de contrôle et de gouvernail7, paradoxalement, le Web - la toile mondiale de réseaux interconnectés - c’est plus le royaume de l’entropie que celui de la hiérarchie et de l’ordre autoritaire. Le Web est en fait un système d’information hypermedia, lancé à l’initiative du CERN de Genève par Tim Berners-Lee en mars 1989. Le CERN présente le WWW comme étant le plus grand service d'informations sur l'Internet : « Les câbles sont des routes, Internet est le code de la route et le WWW représente une distribution par correspondance. »8 Les bases de données sur Internet sont reliées entre elles par l’intermédiaire de pointeurs ; ce qui permet l’accès à une grande variété de données : textes, son, vidéo ... « Tim Berners-Lee et Robert Cailliau avaient décidé d’abandonner les arborescences hiérarchiques chères aux structures de répertoires des ordinateurs et avaient décidé de s’appuyer sur la conception d’hypertexte qu’avait développé Ted Nelson dès les années 1960» [GUEDON 96].

6 National Center for Supercomputing Application 7 Norbert Wiener 8 http://web.urec.fr/

Schémas 1 et 2, source : http://www.urec.fr/France/stat_serveurs.gif

Le succès d’Internet est donc étroitement lié à celui du World Wide Web. Et la réussite du W3 est elle-même basée sur la convivialité et la souplesse des interfaces d’accès aux documents de type hypermedia. En effet, le modèle retenu est basé sur une architecture client/serveur, et depuis la sortie de Mosaic 1.0 en 1993, la croissance spectaculaire du nombre de connectés au réseau Internet nous informe du très bon accueil réservé aux logiciels de ce type.



1.3.2 La navigation en hypertexte « La notion d’hypertexte a commencé à être analysée à partir de 1945 quand Vannevar Bush, dans un article célèbre de Atlantic Monthly, esquissa ce que pourrait être le système Memex. Pourtant, l’Encyclopédie de Diderot incorporait déjà des dimensions que l’on peut qualifier anachroniquement d’hypertextuelles ». Mais en fait, le cheminement hypertextuel est à la fois très puissant et très pernicieux. Très puissant puisque nous savons tous maintenant que l'on peut, grâce à ce procédé, parcourir des quantités relativement importantes de données sans pour autant suivre le cheminement habituel de lecture des documents : le mode séquentiel. Ainsi, dans un hypertexte, les ancres9 nous permettent de sauter vers des informations relatives à ces liens, et donc d'atteindre plus vite et plus précisément les buts que l'on se fixe. Mais par ailleurs, cette facilité de propagation de liens en liens revêt un caractère dommageable ; c'est celui qui nous amène, paradoxalement, loin (parfois à l'opposé) de ce que l'on recherche. En effet, revers de la médaille, lorsque l'on offre la possibilité à l'usager de traverser de nombreuses couches hypertextuelles grâce à un simple clic-souris, il arrive souvent qu'il soit emporté par son élan, et s'enfonce trop profondément dans la masse de documents disponibles. C'est un peu le même phénomène que celui qui nous fait consulter plusieurs volumes d'une encyclopédie, parce que chaque article nous renvoie à un autre. Ce n'est qu'une fois le dernier document compris et assimilé, que l'on peut remonter d'un cran pour comprendre l'avant-dernier, et ainsi de suite récursivement, jusqu'au premier. Mais ici, contrairement à une structure limitée (l'encyclopédie papier a un nombre fini de volumes, nettement moins important que le nombre de serveurs reliés à Internet), Internet est un réseau mondial ouvert, et donc, il est souvent très difficile de se repérer et de savoir d'où l'on vient et où l'on va. 1.3.3 Les problèmes rencontrés par les utilisateurs et quelques solutions possibles La prise en compte de l'homme dans la conception d'un nouveau dispositif d'interaction avec l'ordinateur, suppose l'étude des modalités les plus adaptées à cette interaction : l'homme est plus fiable et plus efficace lorsqu'il peut composer avec ses cinq sens ; or les logiciels navigateurs actuels sur Internet ne lui offrent pas la possibilité de les utiliser tous. Ils ne permettent pas une interaction multimodale. Il manque à ces logiciels en premier lieu la possibilité d'un dialogue en langue naturelle permettant à l'usager de préciser ses intentions de recherche et d'affiner ses buts. Il manque en second lieu des mécanismes de retour arrière rapides fondés sur des aides mémorielles. Tous ces logiciels ont également négligé la dimension vocale (reconnaissance de la parole et synthèse sonore) qui pourrait s'avérer précieuse avec l'élargissement des usages au grand public ; enfin ils n'exploitent pas suffisamment la modalité graphique qui pourrait apporter des aides plus efficaces pour le repérage et l'orientation des usagers. [BEAUFILS 96] a étudié la navigation en environnement hypertextuel et a montré que l’on retrouve principalement quatre sortes de difficultés navigationnelles : - Les problèmes liés à l’évaluation d’un objectif de consultation ; - Les problèmes liés à la maîtrise d’un environnement particulier ; - Les problèmes généraux d’orientation, de localisation et d’accès aux informations ; - Les problèmes liés aux traitements des informations sélectionnées.

9 un objet (texte, image, etc.) que l'on sélectionne et qui permet de présenter d'autres données relatives au domaine.



Nous l'avons vu, ce qui fait le succès du WWW peut parfois être aussi la pierre d'achoppement qui va freiner l'utilisateur dans ses manipulations. Mais l'autre grand problème d'Internet, hormis ceux de confidentialité et de sécurité du réseau, est celui de la gestion de la masse de l'information disponible. En effet, nous savons bien que personne ne contrôle officiellement Internet, et que par conséquent, personne n'est en mesure de connaître, de répertorier et d'indexer tous les documents qu'il contient (textes, images, films, sons). S'il est très facile de lancer une procédure de recherche sur un disque dur, voire sur un réseau fermé, pour trouver l'information que l'on recherche, il est beaucoup plus délicat d’exécuter cette opération sur la totalité des serveurs qui composent Internet. Les moteurs de recherches disponibles sur le Web10 rivalisent d'ingéniosité pour s'efforcer de fournir le plus rapidement possible la liste des sites susceptibles de répondre à nos attentes. Et cela n'est actuellement valable que pour le texte. Il n'est pas encore possible de faire une recherche qui s'exprimerait, par exemple, ainsi : " je recherche une vue de coucher de soleil avec en arrière plan un palmier et sur la gauche un lagon bleu" . Pourtant, rien ne prouve que cette photo n'est pas présente, quelque part sur Internet. Le problème est alors simple à énoncer : Où se situe l'information que l'on recherche ? C'est cette question qui est la base même des études de Systèmes de Recherche d'Informations. Et c'est également en réfléchissant aux réponses possibles que l'on peut apporter à cette question que l'on s'est intéressé à l'intégration du langage naturel comme moyen de communication entre l'homme et la machine. Car, l'une des voies que l'on néglige parfois lors de la recherche d'information, c'est la capacité qu'a l'usager à définir ses besoins et ses attentes. Si l'intention de l'utilisateur est mesurable ("je recherche quelque chose que je ne connais absolument pas" versus "je veux des informations supplémentaires sur un domaine que je maîtrise déjà assez bien"), la tournure de la requête peut prendre une toute autre forme. [HARDIE 96] montre qu’une grande majorité des recherches sur moteurs d’informations se font à partir d’un terme unique pour la requête. Mais ce qui prédomine selon lui dans le comportement des utilisateurs d’Internet, c’est la faculté pour certains à élaborer une stratégie de recherche, en ayant à l’esprit le mode de fonctionnement des explorations faites par les robots de recherche. Les résultats de la recherche ne sont souvent fructueux que lorsque l’on connaît assez bien ce que l’on cherche. « Even the most preliminary scans demonstrated that some users wanted the ocean, while others were lookink for a grain of sand ». Il explique encore qu’il a observé deux modes de substitution lorsque les résultats obtenus ne donnent pas satisfaction : Soit le terme initial est remplacé par un synonyme de même catégorie : « "car" , for example, might be shifted to "automobile" » ; soit le terme est remplacé par un autre, qui englobe l’original : « the term "helicopter" , for example, might be shifted to "aircraft" ». Mais c’est souvent à ce niveau-là que l’utilisateur renonce à s’investir plus dans une telle recherche, découragé de constater que l’interaction avec cet outil n’est pas très riche d’enseignement. Il est alors pertinent de voir comment on pourrait aider l'utilisateur à mieux définir ses besoins avant d'élaborer une requête adéquate, et tenter d'élargir à bon escient les champs sémantiques concernés. Le dialogue qui s'instaure alors entre l'homme et la machine pourrait faciliter la définition des besoins de chacun11 et permettre une meilleure conception de la requête. 2 : LA NAVIGATION AUGMENTEE POUR INTERNET 10 il y en a plus de quatorze répertoriés en Mai 96. 11 l'ordinateur peut aussi faire savoir qu'il a besoin de telle donnée pour faire telle action...



Au regard des problèmes rencontrés par les utilisateurs du réseau Internet, et en se basant sur les travaux de notre équipe, nous arrivons à une question importante : le dialogue oral peut-il apporter des éléments favorables contribuant à une meilleure interaction entre les utilisateurs du Web et leurs logiciels de navigation ? Selon nous, la réponse est affirmative. La figure ci-dessous nous montre qu’en intégrant une composante orale de dialogue dans un feuilleteur, il va être possible naviguer et de rechercher des informations dans des conditions préférables à celles des interfaces actuelles pour Internet: en effet, en utilisant une technique de reconnaissance vocale, on peut, grâce à une analyse sémantique, déterminer sur quels champs de données l’on travaille, et à quels thèmes l’on fait référence. De là, deux possibilités s’offrent à nous : (a) soit une procédure de sous-dialogue oral va nous permettre de mettre en place une navigation augmentée, c’est-à-dire que la machine va repérer l’information désirée dans l’historique et calculer la référence à un serveur déjà visité (exemple : « retourne à la première page ») ; (b) soit on se trouve en position de recherche d’information multimodale, et la série de mots-clefs reconnue dans l’énoncé oral va permettre d’accéder plus rapidement aux données (exemple : « je veux voir le programme télé de cette semaine ». Le mot-clef « télé » fait référence à une URL présente dans l’index, on peut accéder à cette page très rapidement); le cas échéant, on se sert des termes reconnus pour construire une requête et la soumettre au moteur de recherche, après acceptation par l’usager.

RECONNAISSANCE DES MOTS-CLEFS

ANALYSE SEMANTIQUEDE CONCEPTS

ACCES DIRECT AU SERVEUR

IDOINE

PROCEDURE DESOUS-DIALOGUE

NAVIGATIONAUGMENTEE

RECHERCHED’INFORMATIONMULTIMODALE

PRESENTATIONMULTIMODALE DES

RESULTATS

REPERAGE PAR RAPPORT A L’HISTORIQUE

ACCES PLUS RAPIDEET PLUS SUR A

L’INFORMATION

PROCEDURE DESOUS-DIALOGUE

REPERAGE PAR RAPPORT A L’INDEX

SOUMISSIONAU MOTEUR

DE RECHERCHE

Schéma 3 : Navigation augmentée et recherche d’information multimodale.



Il s'agit de faciliter le repérage et la mémorisation de l'utilisateur pour qu'il accède plus rapidement et plus efficacement aux informations déjà parcourues ; mais aussi à terme, de préparer la recherche en aval, par lecture anticipée des liens des pages. Il serait intéressant de disposer d'un outil autonome qui chargerait les données des différentes pages postérieures à la page active, afin de déterminer s'il est important ou non d'y accéder. (Cf. techniques de matching par rapport à la requête initiale). La méthode retenue pour cela est le repérage dans l'historique du processus de dialogue entre l'homme et la machine. Une page antérieurement chargée, pourra l'être de nouveau, lorsque l'usager fera référence à son contenu intrinsèque. (la page parlant de ceci, l'image relative à cela, l'article à propos de ...). On voit donc que ces techniques se rapprochent plus des structures cognitives que nous utilisons quotidiennement : si l'ordinateur sait retrouver avec une précision de 100% un livre grâce à son ISBN12, nous sommes, quant à nous beaucoup plus attachés à des informations perceptibles et descriptives (le livre épais que tu m'avais prêté, avec une couverture rouge, rangé sur la troisième étagère, etc.).

Schéma 4 : Processus de navigation en hypertexte.

La navigation hypertextuelle sur laquelle repose le World Wide Web d’Internet permet de voyager de documents en documents en pointant à la souris les ancres HTML. L’utilisation de la voix comme moyen d’interaction permettrait de désigner les liens visibles ou non de la page active, mais aussi ceux des documents antérieurement visités. Une piste de recherche également intéressante consiste à s’intéresser au dialogue oral personne-système comme étant un moyen d’accroître et d’élargir les champs de perception de l’usager, au-delà de celui de la vision. Lorsque l’on rencontre sur Internet un document assez volumineux, composé de plusieurs pages-écrans, il nous faut actuellement le parcourir en entier pour ensuite pouvoir décider de cliquer sur tel ou tel lien. Idéalement, cela se ferait grâce à la voix, c’est-à-dire qu’il suffirait de nommer un lien pour accéder au document qu’il pointe, sans pour autant que cette ancre soit visible à l’écran.

12 International Standard Book Number



Grâce à l’utilisation de la voix, on accède instantanément à l'information désirée, car il ne faut plus dérouler toute la séquence en sens inverse pour revenir sur l'événement que l'on avait repéré. D'où une interaction plus conviviale entre l'homme et la machine. Un récent projet (MIWEB13) en matière d’interaction multimodale pour le réseau Internet, faisait état d’une population globale de 60 100 000 personnes ne pouvant pas utiliser une interface graphique traditionnelle, sur une population globale européenne de 800 000 000 individus (soit 7,51 %).

TYPE D’HANDICAP EFFECTIF % Mains / Doigts 1 100 000 0,14 Avant - Bras 22 500 000 2,81 Coordination réduite 11 500 000 1,44 Dyslexie 25 000 000 3,13 Total 60 100 000 7,51Population globale 800 000 000 100Schéma 5 : population cible du projet Miweb

" Ingram of Productivity Works estimates that in North America and Europe there are 27 million blind or visually people and that about 30 percent of them use computers. " 14 Donc, on voit bien que la nécessité d’une interface multimodale n’est plus à prouver : Cette interface serait, bien entendu, largement utilisée par la population citée dans cette étude, mais également par des usagers novices qui seraient certainement mieux guidés dans leur cheminement au sein d’Internet si le dialogue entre l’homme et la machine se rapproche de celui qu’ils connaissent le mieux et utilisent quotidiennement : le langage naturel. 2.1: Comparaison entre différents types d’interactions Les interactions basées sur la manipulation directe des données (clavier et souris) dans des environnements hypermedia autorisent une manoeuvre efficace, non ambiguë, avec feedback immédiat pour l’usager. En revanche, on ne peut évidemment désigner et pointer que ce que l’on voit à l’écran. Il est alors difficile d’exprimer une action complexe autrement qu’en la décomposant en ses primitives. Les interaction basées sur le traitement de la langue naturelle orale, quant à elles, fournissent des dispositifs plus souples et plus agréables (mains libres notamment), où l’on peut nommer un objet sans le voir. Elles sont plus adaptées aux usagers débutants et peu expérimentés, qui ont besoin d’être guidés lors de leur cheminement. Le fait de dialoguer oralement avec la machine permet d’étendre le champ de travail de l’usager : on peut à la fois faire référence aux données actives à l’écran, et à celles faisant partie du document, mais cachées momentanément. En contre partie, il faut que le système de reconnaissance vocale utilisé soit performant, robuste et relativement fiable, sans quoi le dialogue devient encore plus ambiguë qu’auparavant.

13 Multimodal Intercation with the WEb for the Blind 14 " ‘Webspeak’ opens cyberspace to visually impaired" in The Times, by Mark Perkiss - 12.02.96



Avantages de la souris Inconvénients de la souris Les références déictiques, les actions combinées.

La référence dépend de la localisation du réfèrent.

L'auteur décrit complètement la représentation de l’entité.

L’utilisateur peut préférer une autre représentation et il se peut qu’aucune autre représentation ne soit possible.

Manipulation directe (pointer et cliquer ). On ne peut pas décrire, mais que pointer. Pas ou peu d’ambiguïté quant à la désignation.

Vocabulaire limité à celui des liens visibles à l'écran.

Retour d'information quasi immédiat pour signaler que l'action de l'utilisateur a été comprise (immediate feedback).

Difficulté à exprimer des actions complexes autrement qu'en la décomposant en ses primitives.

Schéma 6 : Interaction à la souris en hypermédia15

Avantages du LN oral Inconvénients du LN oral

Les références ne dépendent pas de leur localisation.

Ambiguïté possible.

Toutes les références sont accessibles. L'utilisateur peut ne pas connaître toutes les références.

Dispositif " mains libres". Il se peut qu'on ait besoin d'un touch-to-talk (un bouton qui va signaler qu'on utilise une commande vocale) pour éviter les bruits et expressions non conformes.

Permet l'accès à l'information lorsque l'interface graphique (GUI) ne le permet pas.

Problème avec l'audio seul : - si trop de texte - images - navigation - présentation des liens.

Plus (+) d'expression directe. Mots inconnus ; vocabulaire illimité. Il existe plusieurs moyens de faire référence à un élément.

De multiple liens peuvent avoir les mêmes mots-clefs.

Possibilité de décrire dans sa globalité une action complexe, sans énumérer ses primitives.

Difficulté à faire référence aux graphiques, images et icônes.

Schéma 7 : Interaction en langage naturel en hypermédia13

2.2 : Etat de l’art du domaine Il semble dorénavant important de disposer d’un outil de navigation convivial, adaptatif et performant pour appréhender la gigantesque masse d’information disponible sur Internet. Des recherches aux Etats-Unis [HOUSE 95] et en France [KABRE 95] nous permettent de penser qu’une composante orale de dialogue serait appropriée pour implémenter un outil qui autorise une sorte de navigation augmentée, plus performante sur un tel réseau ouvert.

15 inspiré des travaux de [ HOUSE 95 ]



La navigation est dite augmentée, dans le sens où l’on a non seulement la possibilité de parcourir les liens comme auparavant, c’est-à-dire en les pointant à la souris, mais aussi la faculté de piloter les commandes du feuilleteur à la voix : « avant », « arrière », « stop », etc. David House décrit dans sa thèse une extension langagière à l’interface graphique du browser Mosaic. Son système SLAM (Spoken Language Access to Multimedia) est basé sur la constatation qu’interfaces orales et graphiques sont complémentaires l’une de l’autre : « Fortunately, many of the advantages and disanvantages of spoken-language-based-interfaces for hypermedia turn out to be complements of those for moused-based interfaces. » Fort de cette pertinente remarque (il cite les travaux de Lefevre Nigay & Coutaz 93), House nous propose une architecture dans laquelle un serveur distant permet la reconnaissance de la voix de l’utilisateur, et en réponse, fournit l’adresse URL16 adéquate à l’extension du browser Mosaic de chaque station de travail locale (client/serveur). Mais toutes les pages HTML ne supportent pas SLAM car il faut qu’elles soient créées selon un protocole spécialisé (speech-capable document). L’inconvénient du modèle adopté par House réside également dans le fait que le serveur qui traite le signal est souvent très distant, et les accès sont lents (Portland, Oregon, USA). L’interaction entre l’utilisateur et la machine perd son caractère spontané et naturel. Contrairement à SLAM, où il fallait appuyer sur un bouton pour pouvoir parler (processus touch to speak), Caelen et Kabre avec Voiceweb ont instauré un dispositif de reconnaissance vocale en tâche de fond (processus background Unix), qui est disponible dès qu’il faut traiter du signal. Il existe aussi quelques travaux qui s’intéressent à la navigation sur le réseau Internet pour des personnes ne pouvant pas correctement utiliser les outils communément employés pour cause d’handicap moteur, visuel, etc. [KENNEL A., PERROCHON L, DARVISHI A. 96]. De ce fait, les interfaces multimodales pour Internet sont appelées à se développer pour venir en aide aux personnes actuellement lésées par le manque d’accessibilité aux WWW avec les interfaces graphiques actuelles. [SMITH 96]. En effet, quelques chercheurs [RAMSTEIN 96], [HERMSDORF 96] se penchent actuellement sur les populations d’usagers non-voyants, mal-entendants, dyslexiques, et des personnes ne pouvant pas utiliser leurs membres pour piloter une interface traditionnelle. Il est montré dans la plupart de ces réflexions que l’intégration de la voix dans les feuilleteurs, comme moyen d’accéder à l’information disponible sur le Web semble être un des concepts les plus prometteurs, puisque cela résoudrait en partie les problèmes actuels de certaines personnes handicapées (notamment les aveugles : [KRELL 96]) ; tout en permettant à terme une meilleure navigation, même pour les utilisateurs valides. [PACIELLO 96]. Il est effectivement possible aujourd’hui d’obtenir des informations du monde Internet, sans pour autant utiliser une interface graphique usuelle (Cf. annexe A3). Web-on-Call [RHIE 96] nous montre par exemple comment on peut « surfer sur le web» sans même posséder d’ordinateur. Le président de Netphonic explique : " Until now, a Web server could only be accessed by a computer with an Internet connection and Web browser software. Our new product makes Web content available to anyone ; with 16 Uniform Resource Locator



or without a computer. Using text-to-speech technology and audio recording feature called ‘Teleprompting’, Web-On-Call Voice Browser plays back Web documents over the telephone with a high degree of accuracy. It also supports documents retrieved via fax, e-mail and postal mail service." Le projet pwWebSpeak a été spécialement réalisé pour permettre aux handicapés visuels d’appréhender le WWW sans avoir besoin de le voir : c’est un browser qui récupère les données et en calcule une synthèse vocale appropriée pour apporter un mode d’interaction entre l’homme et la machine ne se basant pas sur la vision et le graphique. (Cf. annexe A4).

Schéma 8 : pwWebSpeak

" The picture shows the large type display from pwWebSpeak and the same Web page displayed in graphic form. pwWebSpeak's large screen display is kept synchronized with the reading of the information from the page. " in http://www.prodworks.com/pwwebspk.htm

La carte de positionnement que nous présentons ci-dessous montre où se situent les différents browsers par rapport aux axes de la modalité et de la recherche d’information. Nous voyons que Netscape, Mosaic et tous les browsers de même type sont monomodaux : ils ne se manipulent qu’au clavier et/ou à la souris. La recherche de données y est naturellement possible, mais reste encore peu interactive. Voiceweb et SLAM se trouvent au même niveau (horizontalement) que Mosaic, mais leurs extensions multimodales permettent de piloter le browser à la voix. D’autres outils comme pwWebspeak ou Web-on-call intègrent une forte composante multimodale, mais ne répondent guère aux besoins de recherche d’information des usagers. Enfin, certaines techniques tentent d’ores et déjà de coupler dialogue et aide à la navigation par cartes géographiques, afin de mieux se repérer sur la toile d’araignée de données qu’est Internet [STROTHOTTE 96] mais aucune ne permet un véritable dialogue homme-machine convivial et adaptatif. FACOPI (Feuilleteur A Commandes Orales Pour Internet) est un projet de logiciel que nous allons tenter de développer, en essayant de se rapprocher de l’optimum à la fois en matière de multimodalité, de dialogue et de recherche d’information/navigation augmentée.



Recherche d’Informationet Navigation Augmentée

Multimodalité

Dialogue

Monomodalité

Facopi

Netscape, Mosaic,Explorer ...

Voiceweb, SLAM

Web-On-Call

PwWebspeak

Schéma 9 : Carte de positionnement des browsers. Ainsi, nous avons vu que l’introduction d’une composante orale au sein d’un feuilleteur pour Internet permet déjà un processus de pilotage à la voix appréciable, pour permettre un cheminement de liens en liens. Les mots « avant », « arrière », « stop » sont reconnus, et une action est associée à chacun d’eux. Mais une des voies qui nous intéresse plus encore, est celle qui concerne le domaine de la recherche d’information, dans lequel, nous allons le voir, le dialogue peut apporter beaucoup de souplesse à l’interaction homme-machine. Ainsi, une sorte de « navigation augmentée » peut être définie, pour allier la puissance et la richesse du langage naturel aux algorithmes autorisant la mémorisation des actions passées. C’est de cette façon que l’on pourrait concevoir des outils intelligents, basés sur des techniques de dialogues, sous-dialogues et de buts, enregistrant et optimisant la navigation à chaque session. Ce serait le cas, par exemple, lorsque un utilisateur soumet une requête sémantiquement proche d’une déjà traitée : la machine établit un sous-dialogue dans lequel elle va amener l’usager à préciser ses objectifs, et lui proposer différentes solutions susceptibles de le satisfaire.



2.3 : La recherche d’information multimodale Il est évident que nos modes de recherche et de présentation d’informations sont issus de notre enseignement et de notre culture. Certes, l’affichage textuel demeure un mode d’interaction privilégié avec l’utilisateur, du fait de la très large diffusion de l’imprimé, mais de nombreuses études montrent que la substitution d’un mode par un autre ou bien encore l’utilisation simultanée des plusieurs modes apportent de nombreux avantages tant du point de vue cognitif qu’ergonomique. Parfois, on a le choix quant au mode d’interaction avec l’utilisateur, et d’autres fois, selon les capacités de l’usager, le mode de communication et de dialogue entre personnes et systèmes s’impose de lui-même. La parole est évidemment en tête de liste lorsqu’il s’agit de réfléchir à des interfaces pour certaines catégories d’handicapés visuels ou des membres supérieurs. Comme Rasmussen qui modélise le comportement cognitif selon trois niveaux (Skill level behavior, Rules based behavior and Knowledge based level), il nous faut ici différencier les utilisateurs qui utilisent facilement un feuilleteur pour Internet de ceux qui auront du mal à naviguer ou à trouver l’information qu’ils désirent. Par exemple, s’il est agréable pour un novice d’entendre une voix synthétique lui demander « Ce document semble vous intéresser. Voulez-vous que je sauvegarde cette page pour vous ? » ; un usager expert sera vite lassé de ces interruptions intempestives dans son travail et se détachera progressivement de cet outil. Des travaux montrent comment et en quoi la multimodalité peut jouer un rôle important pour certaines approches en IHM [COUTAZ & CAELEN 90]. Ici, pour l’étude qui nous concerne, la multumodalité doit d’une part faciliter les entrées/sorties de données entre l’homme et la machine, et d’autre part accroître sensiblement la composante informative qui permettra à l’usager d’être mieux guidé : c’est-à-dire beaucoup plus en fonction de ses besoins personnels que par rapport aux constantes figées dans le noyau fonctionnel de l’application. Par exemple, la recherche d’information multimodale basée sur une composante vocale en synthèse et reconnaissance permet sans aucun doute beaucoup plus de liberté en ce qui concerne la description de ce que l’on souhaite obtenir : « J’aimerai retrouver la liste des médaillés aux jeux olympiques d’été de Los Angels, euh non, de Mexico. Ah oui, c’est de natation dont il s’agit, je crois qu’il y avait Mark Split à ces J.O. ». Convenons ensemble qu’il me faut plus de temps pour l’écrire que pour le dire. De là, une reconnaissance vocale peut prendre l’initiative de ne garder que les mots-clefs qu’elle aura clairement identifiés et jugés pertinents. La manipulation directe du clavier et/ou de la souris a été remplacée par un autre mode, souvent plus approprié pour des telles tâches où l’on ne peut pas désigner ou nommer rigoureusement l’objet de notre prospection Typiquement, la multimodalité va également fournir à l’usager une perception augmentée de son environnement. Le fait de pouvoir prononcer le nom d’un lien sans qu’il soit présent à l’écran en est le parfait exemple.



3 : MODELE DE DIALOGUE ORAL POUR INTERACTION SUR INTERNET Le but de l’intégration du langage naturel oral dans un modèle d’interaction sur un réseau ouvert tel qu’Internet, est de permettre à l’usager de mieux appréhender son environnement. Nous avons vu que le plus souvent, les utilisateurs se retrouvent rapidement désorientés au cours d’une navigation dans laquelle ils ont à traverser plusieurs couches d’hypertextes pour arriver à leurs fins. Les outils actuellement disponibles n’autorisent pas un dialogue préalable entre l’homme et la machine afin de déterminer précisément le sens de la démarche (plus ou moins connue) de l’utilisateur. Il nous faut donc évoluer vers des concepts de navigation où le dialogue serait la clef de voûte du système. On se place pour cette étude dans un contexte ou l’on suppose que toute utilisation d’Internet est subordonnée à un désir de trouver une information 17. 3.1 : Modèle de feuilleteur générique multimodal pour Internet Le formalisme proposé se décompose en six phases distinctes18, ayant pour objectif de faire converger les besoins de l’usager et les ressources disponibles sur Internet.

RECONNAISSANCE DES MOTS-CLEFS

ANALYSE SEMANTIQUE DE CONCEPTS

FORMULATION DE LA REQUETE

PROCEDURE DE SOUS-DIALOGUE

SOUMISSION AU MOTEUR DE RECHERCHE

PRESENTATION MULTIMODALE DE RESULTATS

MODELE DE DIALOGUE ORAL POUR INTERACTION SUR INTERNET

Schéma 10 : Modèle de dialogue oral pour interaction sur Internet

17 autrement dit, on ne tient pas vraiment compte du « surf sur le web» dans lequel l’utilisateur transite de lien en lien, sans vraiment chercher quelque chose de précis ... 18 NB : ce ne sont pas les couches d’une architecture logicielle



Pour mieux évaluer le sens de ce modèle, nous rappelons que les objectifs que nous nous sommes fixés sont les suivants : - un guidage mieux adapté en utilisant des techniques de dialogue ; - une formulation plus souple des requêtes en utilisant le langage naturel ; - la prise en compte d'une interaction multimodale (parole, graphique, geste, etc.). Voici comment ce modèle se justifie : en premier lieu, l’usager énonce concrètement ce qu’il désire, comme il le souhaite, sans contraintes et de manière plus ou moins laconique, plus ou moins précise. Puisque nous ciblons un public large et des domaines vastes, il est préférable de laisser l’usager s’exprimer librement. C’est pourquoi ce mode d’entrée des données par le biais du langage naturel nous paraît pertinent pour la tâche à accomplir. Ensuite, nous employons un module de reconnaissance vocale pour tirer d’un énoncé pouvant être soit flou et approximatif, soit rigoureux et précis, des mots-clefs qui vont être notre matière première informationnelle. Bien évidemment, le fait de vouloir ramener toute l’information pertinente de l’énoncé global d’un locuteur à quelques mots-clefs n’est qu’une approche théorique du problème. En réalité, étant donné que le lexique de reconnaissance vocale demeure forcément limité, il est inévitable que l’on subisse des pertes d’informations et que l’on dégrade le contenu du discours. Dans l’exemple « je voudrais un billet pour Paris s’il vous plaît », supposons que les termes présents dans le lexique et reconnus correctement soient « voudrais », « billet » et « Paris ». La forme de politesse est ici omise, mais cela n’interfère en rien dans le processus, en revanche, lorsqu’il s’agit par exemple de la phrase « Avez-vous des places en seconde pour Paris ? », et que le terme « seconde » ne figure pas dans le lexique de base du module de reconnaissance, la solution du problème (fournir le service demandé) devient plus délicate. Donc, de toute évidence, le passage par la reconnaissance, bien que nécessaire à notre démarche, va entraîner d’inévitables pertes syntaxiques et surtout sémantiques par rapport au contenu du message originel. Il y aura alors, après la reconnaissance vocale, une phase de désambiguisation à mettre en œuvre, soit parce que l’ambiguïté existait déjà (dans notre premier exemple, on ne sait pas de quel moyen de transport il s’agit), soit parce qu’elle a été introduite en tronquant le discours lors de la phase de reconnaissance (on perd « seconde » dans notre deuxième exemple). D’où un problème d’acceptabilité de la réponse que l’on pourrait fournir si l’on ne se basait que sur les mots-clefs reconnus pour créer une requête. C’est ici que nous entrons dans une phase d’analyse sémantique de concepts, pour tenter d’enrichir l’information détenue, par le biais de liaisons entre termes ou domaines proches. Typiquement, un terme tel que « cours » est mis en relation avec d’autres comme « enseignement », « finance » ou d’autres termes avoisinants comme « bourse » ou « travaux » (travaux en cours). Le but de cette opération est de proposer à l’utilisateur des alternatives possibles, afin qu’il oriente la recherche vers le domaine ou elle a le plus de chance de réussir. Dans cette optique, une procédure de sous-dialogue s’engage entre l’homme et la machine, afin de s’assurer que les buts de chacun convergent. Par ce moyen, nous espérons lever les ambiguïtés et construire une requête en se donnant le maximum de chance d’atteindre le but désiré. Dans notre exemple, un sous-dialogue constructif de négociation, à l’initiative de la machine, pourrait être du genre « C’est bien un billet de train que vous désirez, pour Paris ? ».



Confirmations, négociations et autres reformulations auront donc comme objectif de préparer la recherche sur le web dans les conditions les plus favorables qui soient, c’est-à-dire en étant relativement sûr que ce que l’on va chercher est bien ce que souhaite trouver l’usager. On aura donc dialogué avec l’utilisateur pour remonter le maximum d’informations sémantiquement correctes, tout en balayant les réseaux disponibles pour obtenir une information que l’on souhaite idéalement précise et le moins ambiguë possible. Une fois que le dialogue aura permis de faire converger l’homme et la machine vers le même objectif, il sera possible de construire une requête pertinente que l’on soumettra à un moteur de recherche d’Internet. Les résultats obtenus pourront être présentés de manière traditionnelle ou bien, plus pertinemment, de manière multimodale. Plus en détail, voici comment se déroule chacune des phases du modèle : ♦ Reconnaissance des mots-clefs : On se base ici sur un mécanisme de traitement du signal acoustique, qui analyse la voix de l’usager ainsi que ses composantes19, et fournit en sortie les éléments reconnus, accompagnés d’un taux de fiabilité. Beaucoup de travaux dans ce domaine ont été réalisés, et le modèle le plus couramment utilisé est celui dit HMM. « Dans le cadre de la reconnaissance automatique de parole, les chaînes de Markov sont utilisées sous forme d’automates à temps discret et à états finis. Un état représente alors une configuration particulière dans un espace de paramètres issus du signal de parole, les enchaînements décrits par les transitions entre les états modélisant alors la structure temporelle caractéristique des phonèmes, des syllabes, des mots ou des phrases. Ces enchaînements sont donc régis par des lois de probabilité, comme pour toute chaîne de Markov, mais celles-ci sont conditionnées par l’observation des paramètres. Or les relations entre les états et les observations étant elles-mêmes régies par des lois de probabilité, l’évolution temporelle des états se trouve cachée pour l’observateur qui n’a accès qu’à la suite des paramètres, d’où la terminologie chaîne de Markov cachée ou plus couramment HMM (Hidden Markov Model ). » [DELEMAR 96 ]. Donc, pour ce qui nous intéresse, l’utilisateur formule ses besoins par le biais d’un microphone connecté à son ordinateur, et le processus d’analyse présente ce qu’il croit avoir reconnu, sous forme de mots-clefs et de taux de corrélation par rapport aux termes présents dans le dictionnaire préenregistré.

19 notamment la prosodie.



Schéma 11 : Représentation graphique d’un signal acoustique.

Pour une plus grande souplesse du système, il est souhaitable que ce système de reconnaissance de la parole puisse traiter des phrases entières et non pas que des mots isolés. Ainsi, l’usager pourra définir sans contraintes ce qu’il veut faire. Il pourra être aussi explicite qu’il le désire (faire des phrases avec sujet, verbes et compléments), et la machine aura alors comme tâche de ne se focaliser que sur les termes les plus pertinents. Dans la phrase « je veux un billet de train de Marseille à Paris s’il vous plaît », il est évident que la forme de politesse ne sera pas retenue comme élément constitutif de la requête. En revanche, dans cet autre exemple, « je désire un billet pour Paris en partant de Grenoble », beaucoup de paramètres doivent être contrôlés avant de valider la requête. - Il n’est pas précisé s’il s’agit bien d’un billet de train. Il faudra s’en assurer. - Les villes de départ et d’arrivée sont inversées par rapport à l’énoncé précédent. Il ne faudra pas que l’algorithme décide que le premier nom rencontré est celui de la ville de départ. De même, dans toutes les phrases ambiguës du type « je veux un billet pour la gare de Lyon », il sera très important de rendre l’énoncé du besoin le plus précis possible. C’est en cela que les phases de " négociation ", par le biais d’un sous-dialogue en langage naturel sont appropriées puisqu’elles orientent l’utilisateur et le poussent à formuler ses attentes au mieux. On évitera par exemple d’envoyer un client à Paris (Gare de Lyon) lorsqu’il avait demandé un billet pour la gare de Lyon (Pardieu). L’élément cognitif qui pour l’usager était évident (il faisait référence à la ville de Lyon et non pas au nom de la gare elle-même) aurait pu être perturbateur si la reformulation n’avait pas eu lieu.



Le " Word-spotting " est une technique utilisée pour de telles applications puisqu’il a pour but de reconnaître les termes d’une phrase orale, et de découper le signal afin d’en extraire les mots-clefs. Une étude est actuellement menée par Marc André, étudiant du laboratoire CLIPS GEOD, afin de proposer un module de word-spotting qui viendrait se greffer en amont de tout navigateur hypertextuel canonique pour Internet. ♦ Analyse sémantique de concepts : Elle se base sur les données fournies par le module de reconnaissance orale précédent, et tente d’associer des mots-clefs entre eux, afin de déterminer une zone sémantique sur laquelle l’ordinateur va travailler. Cette tâche n’est pas à la charge de l’utilisateur car, a priori, il ne connaît qu’une partie de cette zone, mais pas sa totalité.

VOYAGE BILLET FERROVIAIRE TRAIN HORAIRES 17H42 SANTE FUMEUR

Schéma 12 : Champs sémantiques et conceptuels.

Cette analyse de concepts se fait donc en regroupant des mots-clefs dans des champs sémantiques cohérents (« présidents » et « Etats-Unis » par exemple). On associe alors ces champs sémantiques entre eux pour déterminer le(s) thème(s) de la requête. Les combinaisons les plus improbables sont exclues, tandis que d'autres (éventuellement non définies par l'utilisateur) sont ajoutées si elles paraissent pertinentes et en corrélation avec l'information initialement demandée. En effet, l’usager peut penser à un concept spécifique, plus ou moins bien défini dans son esprit, mais ne pas utiliser les bonnes expressions pour exprimer sa volonté. En étudiant les termes les plus pertinents pour une requête sur un moteur de recherche d’Internet (Cf. annexe A2), on se rend compte que la combinaison de mots donnant la meilleure performance n’est pas celle qui nous vient en premier à l’esprit. Si je recherche le cours de l’action Eurotunnel par le biais d’un browser, et si je dois résumer ma requête en un seul terme, je vais très probablement choisir le mot «action» ou bien encore le mot «Eurotunnel» ; or, le résultat d’une requête sur chacun de ces termes, voire sur la combinaison des deux ne donne rien : on ne trouve pas de réponses pertinentes par cette méthode là. C’est ici qu’intervient efficacement l’analyse de concept : en reliant des informations dont le sens est relativement proche, elle permet d’étendre le champ sémantique. Le réseau

Zone de recherche sémantique après analyse des concepts

Concepts et mots-clefs issus de la phase de Word-spotting



sémantique aura, dans notre exemple, mis en relation les noeuds des termes de base (action et Eurotunnel) avec des noeuds ayant un sens relativement proche, ou de même domaine, comme "cours" ,"bourse" ou "Paris". Une des solutions apportées par les chercheurs dans ce domaine consiste à utiliser des réseaux de neurones multicouches pour l'amorçage sémantique et l'analyse micro-sémantique des données. [ANTOINE 94] Et là, un terme auquel l’usager n’avait pas fait référence, peut servir à aller rechercher l’information souhaitée. Mais avant de soumettre la requête, il convient de s’assurer que l’on ne trahit pas la volonté de l’utilisateur. L’interface, ne doit pas perdre son caractère "honnête". C’est dans cette voie que la procédure de sous-dialogue va oeuvrer. Ainsi, dans notre exemple, en intervenant auprès de l’usager pour lui suggérer de se connecter à la page « Netfund : bourse de Paris », on augmente la rapidité d’accès à l’information de plus de 98% (on passe du 123éme rang de lien pertinent, au 2ème;; Cf. Annexe A2). En effet, si l’on pose que le but était atteint à 100% en 123 liens, et que l’on gagne 121 liens en passant par un autre chemin, il en résulte un gain de (121*100)/123=98.37 %. ♦ Procédure de sous-dialogue : En passant d’une requête globale (primaire) à une requête focalisée (secondaire), il est très important de garder le contact avec l’utilisateur, pour lui expliquer ce que fait le noyau fonctionnel et pourquoi il le fait. Un sous-dialogue doit alors s’instaurer entre la machine et l’usager, afin de s’assurer que le travail qui va être effectué est nécessaire et en corrélation avec ce que souhaite faire l’utilisateur. Cela se concrétise par un sous-dialogue, multimodal ou pas, qui, à l’initiative du système, avant de valider la requête secondaire, présente une pré-requête, demande confirmation, propose une reformulation pour les termes inconnus, fournit des synonymes, suggère l’ajout des mots, et annule l’opération si l’usager le désire. ♦ Formulation de la requête : Il s’agit ici de mettre en forme la requête que l’on va soumettre au moteur de recherche. De nombreux travaux en Systèmes de Recherche d’Informations (SRI) ont montré que l’on pouvait utiliser différents modèles (booléen, vectoriel, hybride ...) pour la recherche de données archivées sur serveurs indexés.[SALTON & McGILL 93] Le plus important en matière de recherche d’information se caractérise par deux critères principaux qui sont : - la précision : il ne faut présenter que l’information pertinente à l’utilisateur. - le rappel : il faut aussi présenter toute l’information pertinente à l’utilisateur. Hélas, il n’est pas possible d’obtenir la pleine satisfaction de ces deux critères simultanément. Donc, la formulation de la requête pourra se faire automatiquement, et sera soumise à confirmation, selon que l’utilisateur se sera déclaré novice ou expérimenté.



1

10Précision

Rappel

idéal

Schéma 13 : Précision et rappel en recherche d’information.

♦ soumission au moteur de recherche : Une fois la requête secondaire validée par l’usager, il convient de structurer correctement la chaîne de caractère qui va être soumise au moteur de recherche. En effet, tous les moteurs n’ont pas forcément la même syntaxe, et une même phrase en langage naturel peut se décomposer de différentes manières selon l’algorithme utilisé par le serveur distant. Par exemple, on pourra insérer les mots-clefs AND, OR, XOR, NOT, NEAR dans certains moteurs et pas dans d’autres. ♦ Présentation multimodale des résultats : Il serait alors intéressant, de pouvoir traiter la page HTML rapatriée, pour en extraire les données principales, et les présenter multimodalement à l’utilisateur : la synthèse vocale ne pose en effet pas beaucoup de problèmes, si l’on en juge les travaux du domaine [CALLIOPE 89] et toute chaîne de caractère peut être aisément synthétisée pour que l’usager puisse l’entendre s’il le désire. ♦ Eventuel Bouclage [Relevance Feedback] De là, soit l’utilisateur obtient ce qu’il souhaitait et tout va pour le mieux, soit il juge qu’il a besoin de plus d’informations, et décide de continuer les recherches. Dans cette seconde hypothèse, la machine devra être capable de suggérer un affinement de la requête. Concrètement, cela se traduit soit par un élargissement, soit par une restriction du domaine. C’est-à-dire que l’on opère un peu comme avec un zoom d’appareil photographique : Zoom in : pour tenter d’obtenir plus de détails et de précision à propos des données. Zoom out : pour essayer d’englober plus de composants relatifs au domaine. ♦ Observation des comportements Une action très importante à ce stade de l’avancement des recherches consiste à observer ce que fait l’utilisateur une fois les pages de résultats présentées (écran ou haut-parleurs, etc.) N’oublions pas que l’on considère un but global que s’est fixé l’usager, plus ou moins bien explicité en début de session, et qu’il convient de comparer aux données obtenues, afin de



savoir si effectivement, la recherche est concluante ou pas. Si c’est le cas, l’utilisateur souhaitera probablement sauvegarder cette adresse de serveur, pour des accès ultérieurs. Si l’utilisateur n’enregistre pas de lui-même ces données dans son historique, il sera pertinent de savoir pourquoi, et le cas échéant, savoir en quoi les résultats proposés ne le satisfont pas. De même, en cas de succès, les tables d’index directs et indirects, les fichiers de lexiques et d’historiques doivent être mis à jour et sauvegardés durablement. C’est aussi à ce moment-là que l’on pourra demander une signature (enregistrement spectral) à intégrer dans le dictionnaire de reconnaissance vocale, pour permettre de relier cette nouvelle page de données à un mot que l’utilisateur pourra prononcer au cours de sessions à venir. 3.2 : Les bases du dialogue et de la navigation augmentée pour Internet Comme le soulignent certaines publications d’analyse de corpus de dialogues de navigation [BRIFFAULT & MICHEL 95], les travaux sur la description d’itinéraires et d’aide à la navigation s’appuient largement sur les travaux plus fondamentaux de linguistique et de modélisation informatique de l’espace. C’est dans cette optique que l’on définit à chaque nouvelle recherche le but majeur (on dit aussi le « but profond »), afin de déterminer, une fois les résultats obtenus, si l’objectif initial a bien été atteint. Nous proposons ici une formalisation des fonctions minimales que devrait supporter un feuilleteur à composante orale de dialogue. De même que [SOULA & FIESCHI 96] observent différents types d'attitudes face à un environnement hypertextuel ("Lecteur" passif, sans initiatives ; "Joueur" qui explore toutes les fonctions offertes par le système mais sans réelle motivation d’apprentissage et "Apprenant" qui a un besoin d’acquisition de connaissances pour résoudre un problème concret), nous définissons ici trois comportements types d’utilisateurs d’Internet selon les notions suivantes :

Le Butinage : Sans but précis, l’usager navigue (« il surfe ») sur Internet, et s’il rencontre une page intéressante, il la stocke dans sa collection (bookmark) pour pouvoir la retrouver plus tard, lorsqu’il en aura besoin.

La Navigation Libre : Un but est clairement défini, mais l’utilisateur ne souhaite pas être guidé dans son évolution sur le Web, pour diverses raisons (ne veut pas être dérangé, sait exactement ou et comment trouver ce qui l’intéresse, etc.).

La Navigation Assistée : Un but est défini, et l’usager est prêt à coopérer avec la machine pour qu’elle l’oriente et le guide dans ses démarches, ses choix et ses recherches. Il a été observé [BEAUFILS 96] que " pour atteindre son objectif, le consultant ne sait pas toujours construire un projet de consultation précis et faire évoluer ce projet en fonction des informations qu’il recueille progressivement. Il a souvent du mal à définir le besoin d’informations qui correspond au problème qu’il traite et à identifier dans la base qu’il explore les indices qui peuvent l’amener aux champs d’informations souhaités." C’est dans cette optique d’aide à la navigation (au sens sémantique) que se définissent la navigation libre et assistée, puisque la machine va tenter d’aider l’homme à atteindre son but.



Les dialogues et sous-dialogues qui vont s’instaurer entre l’usager et le logiciel auront pour finalité d’éliminer les ambiguïtés, afin de faire les bons choix pour arriver à l’objectif fixé en début de session par l’utilisateur. Si le résultat est satisfaisant, la localisation de cette information pertinente (par rapport à l’énoncé) pourra être sauvegardée, et servira pour les prochaines recherches. Modèle de réseaux sémantiques interconnectés

Lexique dereco. vocale

Index duFeuilleteur

Index des URL

Construction d’une requête focalisée à partir d’une requête globale et de réseaux sémantiques interconnectés

Schéma 14 :Modèle de réseaux sémantiques interconnectés

Ce schéma montre comment il est possible en utilisant des réseaux sémantiques interconnectés, d’arriver plus efficacement à l’information que l’on recherche, à partir d’un mot-clef que l’on aura reconnu dans l’énoncé du locuteur. Ce terme peut avoir un ou plusieurs sens, et faire référence à un ou plusieurs serveurs sur Internet. C’est grâce au fichier d’index du feuilleteur que l’on va pouvoir questionner l’utilisateur, et lui permettre de faire un choix parmi les différentes assertions possibles. Ainsi, on se focalisant sur un thème spécifique associé à un sens précis, il devient possible d’utiliser des éléments déjà utilisés dans le passé, pour atteindre la page correspondant le plus aux aspirations de l’usager.



Lexique dereco. vocale

Index duFeuilleteur

Index des URL

Exemple de construction d’une requête focalisée dans le domaine de la finance

COURS

ACTION

BOURSE DE PARISMARCHE AGRICOLE

VIANDE

http://www.agri.ch/amarkt/schlacht/schlachf.htmhttp://www.fastnet.ch/NETFUND/HTML/rm.html

Schéma 15 : Exemple de réseaux sémantiques interconnectés

On note sur cet exemple (réellement observé sur Internet), que le terme « cours » est connecté à la fois au terme « action » et au terme « viande », entre autres. Une recherche qui combine « cours » et « action » sera plus efficace qu’une recherche à terme unique, pour trouver la page qui nous intéresse relative aux cours des actions d’une entreprise. Mais, bien entendu, on peut être encore plus efficace si l’on connaît directement l’URL de la page présentant les cotations à la Bourse de Paris. Définition des lexiques et des index De la même manière que l’on utilise des lexiques de mot-clefs, pour vérifier que le terme que l’on croit avoir reconnu fait bien partie de notre base de données, nous allons utiliser une table d’index afin de lier les termes pertinents et les adresses URL. La table d’index utilisée comporte des mots-clefs, dont la forme vocale aura été enregistrée, et pour lesquels on a déclaré un ou plusieurs sens (thèmes). A chaque thème, on peut également associer un ou plusieurs intitulés, qui correspondent aux documents que l’on retrouve sur les serveurs d’Internet. Donc, une fois le système ayant reconnu un mot-clef pertinent - avec un bon taux de probabilité pour qu’il soit un terme figurant dans le dictionnaire vocal - , un dialogue oral peut être mis en place, pour présenter à l’usager les différentes possibilités qui s’offrent à lui, et lui permettre de choisir au mieux, selon ses aspirations. Des voies de recherche auxquelles il n’avait peut-être pas pensé, a priori, lui sont données, pour tenter d’atteindre de manière optimale l’objectif fixé.



Index Ambiguïté Thème Pertinence Intitulé HTTP URL cours 0.7 finance

23

17 6

bourse de Paris bourse de NY

prix indicatif (bétail de

boucherie)

http://www.fastnet.ch/NETFUND/HTML/rm.html

http://www.cnnfn.com/resources/links/cor

p.html

http://www.agri.ch:80/amarkt/schlacht/schlachf.htm

0.3 enseignement 3 cours

d’informatique http://fillmore.univ-mlv.fr/~dr/Cours.html

télé 1 télévision 15 8 6 5

Grille des programmes

TF1

France2

France3

http://www.oceanis.net/ak24/TV/current.html

http://www.tf1.fr/prog/cinema/d12.htm

http://www.france2.fr/vos-soirees/prog-

jeu.htm

http://www.sv.vtcom.fr/ftv/fr3/prog/jour.html

... ... ... ... ... ...

Schéma 16 : Table des index de réseaux sémantiques A chaque index est attribué un ou plusieurs sens. Dans notre exemple, le terme « cours » figurant dans la table d’index renvoie soit à la finance, soit à l’enseignement.

Un taux d’ambiguïté est associé à chaque thème, de sorte que Aii

n

==∑ 1

1

(avec Ai= ambiguïté du ième terme ; ici 0.7 signifie que l’on a associé sept fois sur dix le mot « cours » avec le thème « finance » à l’issue du sous-dialogue de raffinement.) La pertinence d’une URL par rapport au thème de l’index représente le nombre de fois où l’utilisateur a accédé à cette adresse. Dans l’exemple, concernant le thème de la télévision, le mot-clef « télé » a servi quinze fois à retrouver la page « grille des programmes ». 3.3 Algorithme du processus de navigation assistée Notes : M = Machine U = Utilisateur MC = Mot-clef σ : variable au delà de laquelle on décide que le nombre de mots-clefs reconnu est trop élevé pour pouvoir construire une requête cohérente.



Tâche Qui Navigation Assistée

But Profond

M : Demande But U : Enonce But Recherche U : Enonce phrase M : Reconnaissance

MCi (avec i=0...N)

Si i=0 : Pas de MC reconnu : Sous-dialogue de rectification ou apprentissage du MC

Si i=1 : Consultation table d’index et lexique déictique : Si MC ∈ table d’index :

Si ambiguïté<>1 :

Sous-dialogue de clarification et

choix

Présentation multimodale des

thèmes dans l’ordre

d’ambiguïté décroissante et

sous-dialogue d’affinement et

de choix

Sinon

Présentation multimodale de

l’unique thème et des intitulés

associés à ce MC et sous-dialogue de confirmation

de ce choixSinon

Si 2 >= i >= σ : On utilise le dernier des MC reconnus pour la recherche (1)

et on se reporte à l’algo pour i=1. (2)

Si i > σ : Trop de MC reconnus Sous-dialogue de clarification et choix



Si MC ∈ lexique déictique : Calcul de la référence voulue et présentation de la page demandée

( fin de tâche )

U : Enonce le choix d’un thème pour cet index

M : Après reco MC,Si pas d’erreur : Présentation des intitulés Http dans l’ordre de pertinence décroissante et Sous-dialogue d’affinement et de choix

U : Enonce le choix d’un intitulé pour ce thème

Requête : M : Après reco MC,Si pas d’erreur : Récupère la page sur le serveur idoine et la présente

Présentation Multimodale des résultats

M : Observation des comportements de l’utilisateur pour retenir dans l’historique ce qui est pertinent

Observation des comportements de l’utilisateur pour retenir dans l’historique ce qui est pertinent

Finalité M : Sous-dialogue pour connaître le niveau de satisfaction du but initial

U : Précise niveau de satisfaction du but

MAJ index et lexiques

M : But atteint ? Si Oui : MAJ de la table



d’index et lexiques déictique Si Non : Sous-dialogue pour savoiren quoi le but n’a pas été atteint. Si pas encore : Sous-dialogue pour savoir si besoin d’aide pour atteindre le but ...

Note (1) - pourquoi ne prendre que le dernier MC ? : On observe en faisant des essais que l’on ne peut raisonnablement pas lancer une série de requête 1 à 1 MC, puis 2 à 2 jusqu'à N à N et chercher le meilleur résultat, dans des délais satisfaisants. De plus, nous considérons dans cette étude que, par exemple pour la requête « je veux connaître le cours de l’action Renault », les termes pertinents chargés de sens sont lisibles de droite à gauche. Je veux en effet obtenir des informations à propos de « Renault », plus encore « l’action », voire le « cours ». Donc, pour le moment, lorsque i est compris entre 2 et σ ,(exemple ici, trois mots-clefs reconnus dans l’énoncé) nous ne nous basons que sur le dernier mot-clef reconnu pour chercher une corrélation dans les tables d’index. Note (2 ) - Alternative : (Calcul de la meilleure pertinence Si 2 >= i >= σ ) On pourrait également envisager d’envoyer au moteur de recherche les éléments qui composent la requête 1 à 1, 2 à 2, 3 à 3 ... N à N. En analysant les réponses obtenues, il faudrait sélectionner la requête la plus pertinente comme celle donnant la réponse adéquate le plus rapidement possible ; c’est-à-dire celle demandant le moins de chemin à parcourir au sein des couches hypertextes de résultats. (Cf. annexe A2). Pour cela, il serait nécessaire d’obtenir le code source de chaque page HTML présentée par Alta-Vista et de comparer son contenu avec les éléments énoncés en requête et en but profond par l’usager. C’est techniquement possible puisque nous avons pu effectuer une telle expérience lors de nos travaux. Cet algorithme montre comment nous procédons pour établir un dialogue dans le but de mieux naviguer sur Internet. Lors de la phase de reconnaissance, on dénombre les mots-clefs, et en fonction du nombre de termes reconnus, on s’oriente vers différentes démarches : S’il y a trop ou pas assez de mots-clefs, il faut instaurer un sous-dialogue pour éclaircir la situation. En revanche, lorsque le nombre de mots-clefs est satisfaisant, un processus de comparaison est lancé, afin de déterminer comment la machine peut venir en aide à l’usager dans sa navigation. Cela se justifie par le fait que l’on se base sur des mécanismes d’apprentissages, et donc, on suppose que l’information que désire cet usager lorsqu’il prononce tel terme a peut-être déjà été trouvée par le passé. Structure de fichier d’index utilisé et exemple de contenu



Le fichier de type ASCII se présente de la manière suivante : X fois :

MC-COURS : Mot-Clef « cours »

2 : valeur de Y : nombre de thèmes Y fois :

Finance : ième thème du mot-clef

0.7 : ambiguïté du ième thème

Z fois :

3 : nombre d’intitulé Http pour ce thème

Bourse de Paris : intitulé du jème élément du ième thème Http :// ... : URL du jème élément du ième thème 23 : pertinence du jème élément du ième thème Mise à jour des index lorsque le résultat de la recherche est satisfaisant Une fois que l’on a présenté un document Internet, soit pas le biais de la consultation de la table d’index, soit en ayant soumis la requête à un moteur de recherche, il convient de s’assurer que l’usager est satisfait des résultats obtenus. Si c’est le cas, des données devront être mises à jour en conséquence. L’algorithme suivant décrit comment procéder. Les quatre données impératives pour la mise à jour de la table d’index sont : 1) le mot-clef associé à ce document 2) le thème auquel fait référence ce mot-clef 3) l’intitulé de cette page 4) l’URL de cette page Note :

(1) signifie que le mot-clef nécessaire à la mise à jour est connu (2 ) signifie que le thème nécessaire à la mise à jour est connu (3 ) signifie que l’intitulé nécessaire à la mise à jour est connu (4 ) signifie que l’adresse URL nécessaire à la mise à jour est connue

L’algorithme suivant décrit comment procéder.

Si Utilisateur Satisfait, récupérer intitulé (3) et URL (4)



URL déjà présente dans table d’index

Non Oui Récupérer liste de MC Récupérer MC (1) et thème (2) et la présenter à l’usager et Incrémenter pertinence

Choix d’un autre MC Fin (1)

Choix d’un MC de la liste (1)

Récupérer liste de thèmes pour ce MC et la présenter Choix d’un thème de la liste (2) Choix d’un autre thème (2) Incrémenter (Nb sens) Aller au MC Incrémenter (Nb Mot-clef ) Se placer à la fin de la série de Incrémenter (Nb thèmes) Aller à la fin du fichier sens pour ce mot-clef et sauver Calcul d’ambiguïté Sauver : Intitulé Aller à la fin du thème MC URL Sauver : Nb de thèmes =1 Pertinence=1 Thème Thème Ambiguïté du thème Ambiguïté = 1.0 Intitulé Nb de sens =1 Fin URL Intitulé

Pertinence=1 URL Pertinence=1

Fin

Fin



4 : REALISATION LOGICIELLE Dans ce chapitre, nous présentons notre réalisation logicielle issue de la partie théorique exposée préalablement. L’objectif de cette réalisation est de créer un feuilleteur pouvant être manipulé indifféremment au clavier et à la souris ou à la voix. Elle devra épauler l’utilisateur dans sa recherche d’informations en lui suggérant des choix et en lui proposant des alternatives possibles lors de la navigation. Cet outil doit être adaptatif de manière que les actions d’une session puisse resservir plus tard. Il faut qu’il soit convivial, et le dialogue (notamment oral) entre l’homme et la machine doit être la clef de voûte de cette application logicielle. Le module de reconnaissance que nous avons utilisé est ECHOVOICE développé par notre équipe [CAELEN, KABRE, DELEMAR, PIARD 96]. La première étape consiste donc à mettre au point un navigateur semblable à ceux traditionnellement employés, puis dans un second temps, les événements extérieurs à l’application (la parole) doivent être pris en compte et traités de manière à permettre une interaction entre usager et feuilleteur. Cette reconnaissance doit autoriser non seulement le pilotage de l’interface (avant, arrière, historique, etc.) mais aussi l’accès à des serveurs du Web par l’intermédiaire de reconnaissance de mots-clefs. 4.1 Matériel, logiciel et environnement de développement Le « VoiceWeb » de Kabre & Caelen est un module venant s’intercaler en surcouche par rapport à Mosaic (de NCSA). Cette application fonctionne sous Unix et aurait pu être portée sur les autres plates-formes disponibles actuellement ; mais après concertation, nous avons décidé de mettre au point le module de word-spotting sur PC (en C++), et donc, en toute logique, nous devions fournir un feuilleteur fonctionnant sur cet environnement matériel : Nous avons utilisé un PC équipé d’un processeur Pentium d’une vitesse de 100 Mhz, de 16 Mega-octets de mémoire vive, d’une carte son 32 bits, deux haut-parleurs et un microphone. Windows 95 a été le système utilisé pour développer notre application. Nous avons installé le kit de développement Visual Basic, pour travailler en environnement graphique plus aisément. Le bon sens aurait voulu que nous développions sous Visual C+ + , (comme pour le module de word-spotting de GEOD qui sera ultérieurement associé au feuilleteur), mais les bibliothèques de contrôles d’éléments pour Internet ne sont pas encore disponibles pour ce langage. Pour obtenir les OCX20 nécessaires à la gestion des événements pour Internet (OCX HTTP et OCX HTML), nous avons dû télécharger depuis le serveur de Microsoft21 un « Internet ActiveX™ Controls pack » en béta-version. La documentation relative à ces nouveaux outils est pauvre et beaucoup de fonctions demeurent encore indisponibles : c’est le cas par exemple des fonctions InputDoc et OutputDoc de l’OCX HTML, qui selon les fichiers d’aides permettent de gérer les données transitant sur le réseau en entrées comme en sorties, mais qui en réalités n’ont pas encore été développées par les ingénieurs de Microsoft. Il est alors impossible de savoir lors d’une connexion sur un serveur distant quel est le nombre de bits total à rapatrier ainsi que tout élément qui aurait permis d’informer l’utilisateur de l’avancement des opérations. Cependant, l'essentiel des facteurs de contrôle permettant la gestion des processus Internet était utilisable malgré tout. 20 éléments de contrôle que l’on ajoute à la palette d’outils, comme par exemple les combo-box, les cases à cocher, les listes déroulantes, etc. 21 http://www.microsoft.com/icp/



4.2 FACOPI : Feuilleteur A Commandes Orales Pour Internet Dans les lignes qui suivent, nous présentons le logiciel que nous avons élaboré. 4.2.1 Objectifs et principes de fonctionnement Notre application est basée sur une architecture de type Client/Serveur, puisque tout browser proposant de rapatrier des données distantes sur une machine locale par le biais du World Wide Web se doit de respecter les protocoles TCP/IP et les normes HTML et HTTP utilisés par Internet. Le principe de fonctionnement est le suivant : on lance FACOPI et l’on peut naviguer normalement sur le Web grâce à la souris et au clavier. Puisque sous Windows 95, plusieurs tâches peuvent être exécutées simultanément, on peut donc lancer en parallèle à FACOPI une autre application, ECHOGO, qui se charge de récupérer le signal vocal provenant du microphone, de le comparer à sa base de données, et de renvoyer en cas de reconnaissance la chaîne ASCII de ce signal. A tout moment dans le feuilleteur, il est possible de sélectionner la page de reconnaissance vocale, et d’énoncer au microphone la commande que l’on désire. Pour le moment, à titre de test, le corpus contient les termes : « Avancer », « Arrière », « collection », « d’accord », « historique », « information », « moteur », « recherche », « source » et « quitter » pour ce qui concerne le pilotage puis « cours » et « télé » pour l’accès aux index. Pour ajouter des termes à ce corpus, il faut utiliser ECHOVOICE. 4.2.2 Fonctionnalités de l’interface FACOPI est en fait un formulaire principal, dont dépendent dix formulaires annexes qui correspondent aux icônes ayant besoin d’une page spécialement attribuée.

Feuilleteur

Mot- Attente Collection Options Recherche Source Historique Enregistrement Reco. Satisfait clef vocale

Schéma 17 : Structure de l’application FACOPI

Le logiciel FACOPI possède les fonctions courantes employées traditionnellement dans les autres browsers, mais nous avons ajouté certains modules spécifiques pour l’usage que nous lui destinons. On peut accéder à une page HTML en tapant son adresse URL dans la boîte prévue à cet effet ; en cliquant sur une ancre du document actif ; en faisant un copier/coller à partir d’une autre application ou bien encore, en ouvrant un fichier du disque local. La navigation classique permet comme pour Netscape ou Mosaic d’aller en avant, en arrière si ces actions sont valides (c’est-à-dire s’il y a véritablement possibilité d’avancer ou de reculer d’un cran) et de stopper (si l’on juge l’attente trop longue lors d’un rapatriement).



Un bouton « page par défaut » permet d’aller directement à une adresse fixée à l’avance : c’est souvent la page personnelle de l’utilisateur ou bien celle qu’il utilise le plus fréquemment. Un bouton de rafraîchissement a également été prévu : en cliquant dessus, on charge à nouveau le document actif, et prenant en compte d’éventuelles modifications.

Schéma 18 : La barre d’outils de FACOPI

Les icônes ont été choisies dans l’optique de métaphores se rapprochant le plus possible du monde physique qui nous entoure en respect avec la « théorie de l’action » et des études en psychologie cognitive et ergonomique [NORMAN 86]. Malgré tout, comme les icônes ne sont pas toutes forcément explicites, nous avons utilisé des petits messages qui décrivent la tâche et qui apparaissent lorsque la souris reste plus d’une seconde sur un élément sans bouger. D’autres messages d’informations sont, en outre, affichés en bas de l’écran aussitôt que des statuts sont modifiés. De ce fait, l’usager en est donc immédiatement informé : c’est le cas par exemple lorsqu’une page est en train d’être chargée puis devient disponible, etc. 4.2.3 Navigation classique Nous présentons ci-après les principales commandes que supporte notre application en donnant quelques exemples de captures d’écrans tels qu’ils sont présentés dans FACOPI.

Schéma 19 : Une page HTML présentée par FACOPI



Schéma 20 : Informer l’utilisateur de l’état actuel du système Globalement, nous avons essayé de faire en sorte que l’utilisateur soit à tout moment informé de l’état du système. Mais pour des raisons déjà expliquées plus haut, nous ne pouvions pas manipuler des données importantes comme number_of_bytes_transfered ou bien number_of_bytes_total. Il était donc difficile de rendre compte en temps réel de ce qui se passait dans le noyau fonctionnel de l’application : l’utilisateur ne voyant rien bouger pouvait réellement croire que l’application ne fonctionnait plus. Pour pallier à ce problème, nous avons pu mettre en place un système de contrôle (progress-box) pour que le contact entre l’homme et la machine ne soit pas rompu lors des phases de chargement de données sur serveurs distants. L’icône d’options ne permet pour le moment, que de faire un choix (par bouton radio) entre trois types de navigation : butinage, navigation libre ou navigation assistée. Bon nombre d’options et de paramètres supplémentaires pourront être notifiés grâce à cette page dans le futur. En plus d’un système de collection (bookmark) des pages déjà sauvegardées (nous en parlerons un peu plus loin), il nous a semblé important de disposer d’un historique de la session en cours d’utilisation. Contrairement à la collection qui perdure puisque sauvegardée sur support physique, l’historique de la session revêt un caractère plus volatile. En fait, il pourra nous servir plus tard, lorsque nous aurons besoin de résoudre des références internes. Ce sera par exemple le cas lorsque l’utilisateur donnera une directive déictique comme « je veux retourner à la première page ». Sans cet historique, nous ne serions pas capables de calculer à quoi correspondent les pages visitées, relativement les unes aux autres.



Schéma 21 : Historique de la session en cours Comme dans tous les browsers que nous avons étudiés, nous avons conçu pour FACOPI un processus de gestion des pages déjà visitées. Cette collection d’adresses de pages URL permet en effet, de garder une trace des documents qui nous intéressent, de manière à pouvoir les retrouver plus facilement lors des connections ultérieures. Mais pour aller plus loin dans l’interaction et le dialogue, ce feuilleteur propose à l’usager un choix lors de la sauvegarde sur support magnétique : soit utiliser le titre de la page actuelle, figurant dans le code source HTML, soit donner un nom différent, à la convenance de l’utilisateur.

Schéma 22 : Collection de pages sauvegardées et accessibles



En ce qui concerne le domaine de la perception augmentée, nous nous sommes intéressés à développer un module « sourceur » , qui va rechercher sur le serveur distant le code source de la page actuellement à l’écran. Il présente dans une fenêtre le langage HTML qui à servi à écrire cette page. Si cette fonction est disponible pour la plupart des feuilleteurs courants, aucun ne permet à l’heure actuelle de regrouper en une seule fois la liste des liens (ancres) que contient un document hypertextuel. C’est ce que nous avons mis au point : parallèlement au chargement du code source, nous observons les données rapatriées, et dès qu’une ancre est découverte, elle est répertoriée, numérotée, et affichée dans une liste déroulante. Tous les liens qui figurent dans cette page, si longue et volumineuse soit elle, sont regroupés en un seul lieu. Cela englobe les liens proches (même page ou même serveur) comme les liens distants (tout autre URL). Le nom de cette adresse est affichée juste avant l’adresse elle-même. Dans la mesure où la référence est inconnue, notamment lorsqu’il s’agit d’une image, la mention « pas de titre » se substitue à la dénomination du lien. Enfin, chaque ancre est véritablement activable : c’est-à-dire qu’en la sélectionnant, le lien nous amène précisément à l’adresse qu’il pointe, comme si on l’avait désigné depuis la page originelle.

Schéma 23 : Code source HTML et ancres de la page en cours

Concrètement, on aura bien compris que c’est ce point-là qui pourra permettre à terme une plus grande facilité d’accès aux données et donc une meilleure interaction. En effet, nous avons démontré ici qu’il n’est plus besoin d’appréhender un document dans son ensemble pour en requérir les données substantielles. Nous faisons donc un premier pas vers la démarche qui consiste idéalement, à tenter de considérer simultanément le « détail » et le « global » d’un document et d’acquérir par ces deux voies les informations les plus utiles et pertinentes possibles pour l’utilisateur.



Imaginons un module de reconnaissance de la voix couplé à un tel système de gestion des liens : il serait alors tout à fait possible de désigner une ancre sans pour autant qu’elle soit visible à l’écran. Après la phase d’analyse du contenu de l’énoncé oral, il suffirait de repérer à quel intitulé de lien la commande vocale tente de faire référence, et d’envoyer en réponse la page désirée à l’écran (avec possibilité de sous-dialogue de confirmation, etc.) De même, nous pouvons raisonnablement songer à une procédure de synthèse vocale qui prononcerait à haute voix les liens ainsi inventoriés. Certaines personnes ayant des problèmes d’ordre visuel seraient alors considérablement aidées dans leur processus de navigation.

Nous arrivons à présent à la présentation d’une des parties les plus importantes du feuilleteur : la recherche d’informations. Comme nous l’avons expliqué, elle n’est pour le moment utilisable que par le biais de boîtes de dialogue, mais devrait par la suite être directement exploitable en langage naturel. L’utilisateur entre donc son énoncé comme il le ferait à haute voix, pour décrire ce qu’il recherche sur Internet. Nous avons vu qu’en fait, il peut décrire ce qu’il veut, sans vraiment nommer ce dont il s’agit. C’est bien là un des avantages d’une interaction dialoguée puisque c’est à force de raffinement et de mises au point progressives que l’on pourra aboutir.

Schéma 24 : Recherche selon un énoncé complet

Dans notre exemple, la phrase « je veux connaître le cours de l’action Peugeot s’il vous plaît» a été analysée. La comparaison avec la table d’index informe le noyau fonctionnel qu’un mot-clef est reconnu, il s’agit du terme « cours ». Les informations relatives à ce mot-clef sont chargées en mémoire, et les différentes assertions du mot sont présentées dans l’ordre décroissant d’ambiguïté.



Schéma 25 : Mot-clef reconnu et proposition de différents choix

Comme il s’agit effectivement de Finance pour le cas présent, l’utilisateur est maintenant guidé vers différents sous-thèmes, relatifs aux intitulés des pages disponibles sur le Web. Là encore, les données sont dans l’ordre le plus pertinent possible, c’est-à-dire celui du nombre de fois qu’une telle recherche selon ce mot-clef et ce sens-là, a abouti à telle page.

Schéma 26 : La page adéquate est présentée à l’usager

Une fois les paramètres acceptés, la page idoine est automatiquement chargée et présentée à l’utilisateur. Dans notre exemple, on retrouve bien le cours de l’action Peugeot sur cette page,



donc le but profond de la recherche est atteint, et l’utilisateur a tout lieu d’être satisfait. Dans l’hypothèse où le mot-clef « cours » a pour sens « enseignement » dans la requête de l’usager, la machine propose une liste de sous-thèmes relatifs à cette signification et présente des intitulés de pages HTML déjà rencontrées dans ce domaine.

Schéma 27: Même mot-clef, mais sens différent

En revanche, si aucun des termes de la requête initiale n’est reconnu, le système propose à l’utilisateur d’effectuer cette recherche sur Alta-Vista22 et utilisant tous les termes énoncés à l’origine.

Schéma 28: Pas de mot-clef reconnu, proposition d’une alternative

22 l’un des moteurs de recherche les plus rapides et complets d’Internet



Ensuite, il est possible de naviguer sur les pages de résultats du moteur de recherche, et d’essayer de trouver quelle est la page qui se rapporte le plus à ce que l’on recherche.

Schéma 29: Recherche sur Alta-Vista selon les termes de la requête initiale

Une fois que l’on a retrouvé sur Internet l’information souhaitée grâce à un terme de l’index, il est possible de le signaler à FACOPI, afin d’augmenter pour les prochaines fois les relations d’interdépendances entre cette page et le mot-clef utilisé.

Schéma 30: Mise à jour des index après une recherche fructueuse.



4.2.4 Navigation vocale La majeure partie des commandes que nous venons de présenter peuvent être activées à la voix. Pour cela, il suffit de cliquer sur l’icône représentant un microphone. Une page s’affiche et FACOPI attend que vous prononciez un des termes qu’il connaît et qu’il affiche en permanence.

Schéma 31 : Utilisation de la voix comme moyen d’interaction avec l’ordinateur Pour une plus grande sécurité, aucune opération n’est exécutée tant que l’utilisateur ne l’a pas validée. L’usager énonce un premier mot-clef : s’il est reconnu comme faisant partie du corpus, il est affiché accompagné de l’heure système datant cette événement. Ensuite, s’il dit « D’ACCORD », la fonction correspondante est réellement exécutée. Dans l’exemple ci-dessous, le module vocal a reconnu le mot « ARRIERE ». Si l’usager confirme, la page précédente sera chargée et présentée à l’écran, sans aucune intervention manuelle.

Schéma 32: Reconnaissance vocale du terme « ARRIERE ». Si l’utilisateur confirme, en

disant « D’ACCORD », FACOPI présente la page précédente.



La liste des commandes possibles est la suivante : AVANCER : Avance d’une page écran selon l’historique de la session ; ARRIERE : Recule d’une page écran selon l’historique de la session ; COLLECTION : affiche les URL déjà visitées et sauvegardées sur disque (bookmark) ; D’ACCORD : valide l’événement ; HISTORIQUE : affiche l’historique de la session en cours ; INFORMATION : affiche la boite « A propos de ... » ; MOTEUR : déclenche l’accès au moteur de recherche Alta-vista ; QUITTER : se prépare à quitter, et demande confirmation ; RECHERCHE : présente la boite de recherche de FACOPI ; SOURCE : montre le source de la page en cours, et les liens qu’elle contient. Note : certains termes ont volontairement été choisis de manière à éviter des erreurs dues à une prononciation trop proche des mots-clefs. « Reculer » est substituable à « Arrière » par exemple, mais la première syllabe est déjà dans « Recherche ». On diminue ainsi le risque d’erreur, puisque l’on utilise des termes phonétiquement distants. Le module peut les distinguer à condition que l’apprentissage soit bien mené (cela demande un peu plus de temps, car il faut s’assurer que l’apprentissage vocale demeure correct, même si le corpus croît). En ce qui concerne la recherche d’information sur Internet grâce à la voix, il est possible en énonçant non plus une commande mais un terme du fichier d’index, d’accéder à des serveurs répertoriés par FACOPI. Dans notre exemple, on prononce le mot « TELE » ; le logiciel montre qu’il a bien compris ce terme, et demande confirmation. En énonçant « D’ACCORD », l’usager informe la machine qu’il veut effectivement obtenir des données sur ce sujet. Le dialogue prend forme, et une page des différents sens possibles s’affiche (ici il n’y en a qu’un, on utilise le mot-clef « télé » pour « télévision »). De là, le dialogue progresse puisque l’usager ayant choisi un sens pour ce terme peut maintenant faire un choix parmi les multiples intitulés catalogués. Par exemple, on peut joindre le serveur de TF1, France 2, France 3, etc. L’utilisateur valide son choix, et la page désirée s’affiche.



Schéma 33 : Reconnaissance vocale du terme « TELE » faisant partie du fichier d’index. Donc, en résumé, on accède à une serveur par un autre mode d’interaction : en définitive, il n’aura fallu prononcer qu’un mot-clef, puis le valider oralement (et cliquer OK dans la boite de dialogue qui confirme le mot-clef reconnu23) pour obtenir le programme de télévision de la soirée ou de la semaine.

Schéma 34 : Une fois validé, le mot-clef « TELE » permet de retrouver le thème relatif.

4.2.5 Etat d’avancement du projet Globalement, l’état d’avancement du projet est satisfaisant. Les objectifs pratiques fixés ont été atteints : nous avons réussi à développer un prototype de feuilleteur à composante orale de dialogue pour Internet, qui permet à la fois une navigation augmentée et une recherche d’information multimodale. Cependant, des améliorations sont encore possibles et envisageables : * Il faudrait que l’on puisse utiliser le module d’apprentissage d’Echovoice, pour permettre d’enregistrer un signal audio que l’on associerait par la suite à un mot-clef, un thème et une adresse URL. Ainsi, on enrichirait le corpus de reconnaissance vocale pour les sessions suivantes. *A terme, il faudrait mettre en œuvre un moyen qui permette d’accéder aux différents liens (soit de la page originelle, soit de la page sourceur) grâce à la voix. On désignerait alors une ancre vocalement, sans pour autant l’avoir présente à l’écran. La perception des données s’en trouverait certainement augmentée pour l’usager. * On pourrait intégrer un module de synthèse vocale pour permettre de présenter de manière multimodale les résultats obtenus : grâce à la synthèse vocale, on pourrait réellement parler de dialogue oral entre l’homme et la machine, par l’intermédiaire de FACOPI, car à l’heure 23 à des fins de sécurité et de retour d’informations



actuelle, la machine ne s’exprime que par le biais de boites de dialogue. Une fois qu’un mot-clef comme « cours » a été reconnu, on pourrait fournir une synthèse vocale pour présenter les thèmes possibles. La machine dirait par exemple « Pour ‘cours’ , il existe deux thèmes : finance ou enseignement ; prononcez le thème désiré pour faire votre choix, ou dites ‘annulation’ pour interrompre la recherche». On pourrait également mettre en forme une architecture de dialogue pour déterminer à quel moment on va substituer une boite de dialogue par une synthèse vocale en s’interrogeant sur la pertinence de tels choix. * Une amélioration appréciable concernant la robustesse du système consisterait à remplacer l’actuelle reconnaissance vocale à terme unique par un module de word-spotting, dans l’objectif de laisser parler librement le locuteur au moyen d’une phrase complète, et de ne pas le contraindre à prononcer un seul mot, comme c’est la cas actuellement avec Echovoice. Le dialogue serait certainement meilleur puisque l’on travaillerait avec plus de données pertinentes, et l’interface gagnerait également en honnêteté car l’utilisateur novice peut croire, à tort, qu’en l’état actuel des choses, il peut quasiment tout demander oralement à FACOPI, ce qui n’est bien entendu, pas le cas. * A l’origine, nous avions envisagé dans nos objectifs un public assez large comme cible potentielle pour notre modèle. C’est pourquoi, du point de vue communicationnnel, il serait judicieux de s’orienter vers une reconnaissance vocale multilocuteurs ; en effet, Echovoice, le module que nous utilisons dans FACOPI, est un système monolucteur, voire oligolocoteurs lorsque les personnes ont, à quelques nuances près, une voix similaire, mais il est clair que si c’est un homme qui fait l’apprentissage du vocabulaire, la voix d’une femme aura peu de chances d’être identifiée. * On peut également dénoncer quelques défauts d’observabilité de FACOPI. La capacité du système à rendre perceptible les variables d’états internes qui sont pertinentes pour la tâche en cours ne sont pas réellement satisfaisantes. En effet, compte tenu du manque des fonctions ‘Inputdoc’ et ‘outputdoc’ dans les OCX pour Internet de Microsoft, il ne nous a pas été possible de refléter dans l’interface ce qui se passe dans le noyau interne. C’est pourquoi, parfois, lors d’une connexion à un serveur distant, et selon l’encombrement du réseau mondial, on n’arrive pas à distinguer précisément si le système est défectueux ou pas ; ce qui a des conséquences dommageables sur la conformité avec le rythme de travail de l’usager. 5 : CONCLUSION, RESULTATS ET PERSPECTIVES Au terme de ce stage d’initiation à la recherche, il est possible de dresser un premier bilan des résultats obtenus. En se basant sur les problèmes rencontrés par les utilisateurs d’Internet et en étudiant les outils dont ils disposent actuellement, quelques points nous sont apparus comme intéressants : • Un modèle sur lequel se fonder Bien que quelques idées commencent à voir le jour au sein de la communauté scientifique, il n’existe pas à l’heure actuelle de formalisme sur lequel s’appuyer pour mener à bien un projet alliant recherche d’information multimodale et navigation assistée pour Internet. En nous basant sur une architecture de réseaux sémantiques interconnectés, nous avons défini un modèle qui puisse servir de support à une démarche ayant comme objectif d’intégrer une composante orale de dialogue pour Internet.



• De l’intérêt de l’intégration de la voix dans une interaction pour Internet L’apport de la voix, aussi bien en reconnaissance qu’en synthèse est tout à fait appréciable dans une telle démarche. Les avantages de cette approche sont à la fois l’intégration de la multimodalité, pour laquelle, bon nombre de chercheurs s’attachent à dire qu’elle apporte beaucoup en matière d’interaction homme-machine, et l’augmentation de la perception de l’individu du fait qu’il utilise plus, semble-t-il, ses propres capacités sensorielles ; il peut ainsi mieux dialoguer, et être plus efficace grâce à la multiplicité des moyens d’expressions qui s’offrent à lui : l’outil devient anthropocentré, et le sens de ses interactions avec la machine prend toute son ampleur. • De la théorie à la pratique Ce modèle nous a permis de mettre au point un Feuilleteur A Commandes Orales Pour Internet, et de constater que cet outil permet d’appréhender le monde d’Internet d’une manière différente par rapport aux navigateurs classiques. On pilote le feuilleteur à la voix, et l’on peut également rechercher des informations par ce moyen. Ce n’est plus simplement une interface graphique présentant uniquement les données demandées, c’est aussi une manière d’aborder la gestion des méta-données. Cette application gère donc des données à propos d’autres données (les informations que l’on recherche sur le Web), mais non pas de manière traditionnelle comme le font les moteurs de recherches d’Internet, mais en donnant du sens à l’information et aux moyens d’y accéder. • Quelques perspectives Idéalement, une interaction basée sur un dialogue oral en langage naturel nous permet de mieux apprécier les tenants et les aboutissants d’un tel réseau mondial. Nous avons vu que les apports d’une interaction multimodale dialoguée sont intéressantes dans une telle perspective, étant donné les enjeux socio-économiques. Ce premier travail pourrait être prolongé en intégrant par exemple des dimensions cognitives comme la perception de la satisfaction du besoin et le positionnement de l’usager par rapport à son but. En effet, on distingue encore mal l’écart entre le but que se fixe l’utilisateur - réaliste/utopique - et les possibilités réelles du système. Trois problèmes essentiels sont alors à résoudre : (a) l’adaptation aux nombreux utilisateurs différents qui évoluent sur le Web, (b) l’adaptation des stratégies de dialogue associées aux processus de recherche et de navigation, (c) la mise en œuvre d’une composante orale pour la navigation que nous supposons a priori utile et utilisable. Pour résoudre ces problèmes nous partirons d’une expérimentation sur le terrain en observant des sujets utilisant les browsers actuels puis nous simulerons notre interface par une technique « magicien d’Oz ». Cela nous permettra de modéliser : (a) les représentations des sujets en quête d’informations ; (b) les processus de navigation et de recherche qu’ils utilisent (quand, comment, pourquoi…) ; (c) les aides à fournir au moment opportun. Puis en possession de ces données, nous concevrons et réaliserons un système interactif multimodal à composante langagière pour la recherche et la navigation. A l’issue de ce



travail, nous évaluerons l’utilisabilité de ce système auprès d’utilisateurs choisis dans leur cadre professionnel et amenés à utiliser fréquemment Internet. 6 : BIBLIOGRAPHIE

[ ] ANTOINE Jean-Yves " Coopération synthaxe-sémantique pour la compréhension de la parole spontanée " Thèse - INPG Grenoble Décembre 1994 [ ] ANTHONY JAMES David " The application of classical information retrieval techniques to spoken documents " Thèse - Cambridge U.K. Février 1995 [ ] ANDRIEU Olivier " Internet : Guide de connexion " Editions Eyrolles - 1995 [ ] BAQUERO Carlos " Web Core - Forward and Backward navigation on an multi-grain Web representation " Fifht International WWW Conference - Poster Proceedings INRIA / CNIT Paris La Défense - Mai 1996 [ ] BALPE J-P " Hyperdocuments, hypertextes, hypermédias " Eyrolles , Paris, 1990 [ ] BEAUFILS Alain " Approximation de réseaux de navigation hypermédias par des élèves de collège. Résultats d’une expérimentation et perspectives" Troisième colloque Hypermédias et Apprentissage, Châtenay-Malabry , Mai 1996 [ ] BERK Emily, DEVLIN Joseph " Hypertext / Hypermedia handbook " McGraw Hill 1991 [ ] BODENREIDER O., LE BOULEIX F., KHOLER C., KHOLER F. " Du multimédia intégré au multimédia réparti ou comment et pourquoi passer d’une philosophie Hypercard à une philosophie WWW ?" Troisième colloque Hypermédias et Apprentissage, Châtenay-Malabry , Mai 1996 [ ] BOURGUET Marie-Luce " Conception et réalisation d’une interface de dialogue personne / machine. " Thèse - Grenoble Février 1992 [ ] BRIFFAULT Michel & MICHEL Denis " Analyse d’un corpus de dialogue de navigation à bord d’un véhicule automobile. " Notes et Documents LIMSI N°95-28 . Décembre 1995



[ ] BUTLER Mark " Internet ... tout de suite " Editions Dunod - 1994 [ ]CAELEN J., KABRE H., DELEMAR O., PIARD J. " Reconnaissance automatique de la parole ; vers l’utilisabilité. ", JEP 1996 [ ] CALLIOPE " La parole et son traitement automatique " Masson & Cie, Collection technique et scientifique des télécommunications, Paris 1989 [ ] CHALEAT Philippe , CHARNAY Daniel " HTML et la programmation de serveurs. " Editions Eyrolles , Paris, 1996 [ ] CONDAT Jean-bernard , PIOCH Nicolas " Internet " Editions J.C.i inc. , 1994 - Collection Informatique [ ] COUTAZ Joëlle " Interfaces homme-ordinateur : conception et réalisation " Editions Dunod - 1990 [ ] COUTAZ Joëlle, CAELEN Jean " Opération de recherche concertée : interface homme-machine multimodale " PRC communication homme-machine - 1990 [ ] DELEMAR Olivier "Reconnaissance de la parole par une méthode hybride : réseaux markoviens et base de règle" Thèse - INPG Grenoble avril 1996 [ ] DOUGLIS Fred, BALL Thomas, CHEN Yih-Farn, KOUTSOFIOS Eleftherios " WegGUIDE : Querying and Navigation Changes in Web Respositories " Fifht International WWW Conference - INRIA / CNIT Paris La Défense - Mai 1996 [ ] DUFOUR A. " Internet " PUF, collection « Que sais-je ? », Paris, 1995 [ ] FLANK Sharon " The role of natural-language processing in multimedia " ACM Computing surveys, vol 27, N° 4 Decembre 1995 [ ] GUEDON Jean-claude " La planète cyber " Canal + Gallimard , Mars 1996



[ ] GUNDERSON Jon " World Wide Web Accessibility to People with Disabilities : A Usability Perspective ; Concept of a Structural HTML " Fifht International WWW Conference ( Workshop Web Accessibility for People with Disabilities ) INRIA / CNIT Paris La Défense - Mai 1996 [ ] GUNDERSON Jon " World Wide Web Browser Access Recommendations " Fifht International WWW Conference ( Workshop Web Accessibility for People with Disabilities ) INRIA / CNIT Paris La Défense - Mai 1996 [ ] HAHN Harley & STOUT Rick " The Internet complet reference " Editions Osborne McGraw Hill - 1994 [ ] HAKKHINEN Mark & INGRAM Ray " pwWebspeak " ( pas de référence bibliographique disponible) http://www.prodworks.com/pwwebspk.htm [ ] HALL Wendy " The role of hypermedia in multimedia information systems " ACM Computing surveys, vol 27, N° 4 Decembre 1995 [ ] HARDIE Edward " A grain of sand or the ocean ; User aims in search engine interactions " Fifht International WWW Conference - Poster Proceedings INRIA / CNIT Paris La Défense - Mai 1996 [ ] HATON J.P, PIERREL J.M, PERENNOU G, CAELEN J, GAUVAIN J.L. " Reconnaissance automatique de la parole " Editions Afect Dunod Informatique, 1991 [ ] HERMSDORF Dirk " Teleworking for disabled people - GMD’s TEDIS project " Fifht International WWW Conference ( Workshop Web Accessibility for People with Disabilities ) INRIA / CNIT Paris La Défense - Mai 1996 [ ] HOFFMAN Paul E. " Netscape et le WWW pour les nuls " Sybex IDG-Books - 1995 [ ] HOUSE David ( & KOVNICK David ) Thèse : " SLAM : Spoken language access to multimedia " Portland, Oregon - Avril 1995. URL : http://www.cse.ogi.edu/SLAM/ [ ] HUITEMA Christian " Et Dieu créa l’Internet ... "



Editions Eyrolles - Paris, 1995 [ ] HUITEMA Christian " Le routage dans l'Internet " Editions Eyrolles - Paris, 1995 [ ] JONES kristen L. " NIF-T-NAV : A hierarchical navigator for WWW pages " Fifht International WWW Conference - INRIA / CNIT Paris La Défense - Mai 1996 [ ] KABRE Harouna & CAELEN Jean " VoiceWeb : une interface vocale pour l’accès au réseau Internet ", IHM’95 Grenoble [ ] KENNEL A., PERROCHON L, DARVISHI A. " WAB: World-Wide Web Access for Blind And Visually Impaired " Computer Users. New Technologies in the Education of the Visually Handicapped, Paris, and ACM SIGCAPH Bulletin, June 1996. http://www.inf.ethz.ch/department/IS/ea/blinds/ [ ] KRELL Mitchell & CUBRANIC D. " V-Lynx : bringing the World Wide Web to sight-impaired users " The Second International ACM / SIGCAPH Conference on Assistive Technologies ASSETS '96 - Vancouver, British Columbia, Canada, Avril 1996 [ ] KROL Ed " Le monde Internet : Guide & Ressources " Editions O'Reilly International Thomson - 1995 [ ] LAQUEY Tracy & RYER C. " The Internet companion - A beginners's guide to global Networking " Artwork - Editorial Inc. - 1993 [ ] LEVINE John R. & BAROUDI Carol " Internet pour les nuls " Sybex IDG-Books - 1995 [ ] MAAREK Yoelle S., BEN SHAUL Israel Z. " Automatically organizing bookmarks per contents " Fifht International WWW Conference - INRIA / CNIT Paris La Défense - Mai 1996 [ ] NORMAN D. " Cognitive enginerring, User centered system design, New perspectives on computer Interaction " Ed. D.A. Norman, S.W. Draper, Hillsdale, New Jersey : Lawrence erlbaum associates - 1986 [ ] NRENAISSANCE COMMITTEE " Realizing the information future " National Academy press, Washington, D.C. - 1994



[ ] Ouvrage collectif " L'Internet Professionnel " Editions CNRS, - 1995 [ ] PACIELLO Mike " Making the Web accessible for the blind and visually impaired " Fifht International WWW Conference ( Workshop Web Accessibility for People with Disabilities ) INRIA / CNIT Paris La Défense - Mai 1996 [ ] PACIELLO Mickael , VANDERHEIDEN G.C., LAUX L.F., McNALLY P.R " Designing the World Wide Web for people with disabilities (Panel)" The Second International ACM / SIGCAPH Conference on Assistive Technologies ASSETS '96 - Vancouver, British Columbia, Canada, Avril 1996 [ ] RAMSTEIN C., MARTIAL O., DUFRESNE A., CARIGNAN M., CHASSE P. et MABILLEAU P. " Touching and hearing GUIs : Design issues for the PC-access system " The Second International ACM / SIGCAPH Conference on Assistive Technologies ASSETS '96 - Vancouver, British Columbia, Canada, Avril 1996 [ ] RASMUSSEN " Information processing and Human-Machine Interaction, an approach to cognitive engineering ", Series, Vol. 12, North-Holland, 1986 [ ] RHIE Ken " Netphonic’s Web-On-Call Voice Browser " Fifht International WWW Conference ( Workshop Web Accessibility for People with Disabilities ) INRIA / CNIT Paris La Défense - Mai 1996 [ ] SALTON G, McGILL M.J. " Introduction to modern Information Retrieval " McGraw-Hill 1983 [ ] SMITH Alice., DUNAWAY J., DEMASCO P. et PEISCHL D. " Multimodal input for computer access and augmentive communicaton " The Second International ACM / SIGCAPH Conference on Assistive Technologies ASSETS '96 - Vancouver, British Columbia, Canada, Avril 1996 [ ] SOULA Gérard & FIESCHI Mario " Conception d’hypermédias en médecine : l’expérience du projet Forum " Troisième colloque Hypermédias et Apprentissage, Châtenay-Malabry , Mai 1996 [ ] STROTHOTTE Thomas., FRITZ S., MICHEL R., RAAB H. , JOHNSON V. , REICHERT L. et SCHALT A. " Development of dialogue systems for a mobility aid for blind people : Initial design and usability testing " The Second International ACM / SIGCAPH Conference on Assistive Technologies ASSETS '96 - Vancouver, British Columbia, Canada, Avril 1996



7 : ANNEXES

Table des Annexes

A1 : Exemples et analyses de recherche d’informations sur Internet A1.1 :Recherche « Cours de l’action Eurotunnel à la bourse de Paris » sur ALTA VISTA. A1.2 :Recherche « le programme télé de la semaine » sur ALTA VISTA

A2 : Statistiques sur le nombre de termes pertinents pour une requête sur Alta Vista. A3 : Principe de base de Netphonic’s Web-On-Call A4 : pwWebSpeak ( New product makes the Internet WWW usable by visually impaired ) A5 : Extraits du code source de l’application FACOPI

A6 : Table des illustrations

A7 : Remerciements



ANNEXES A1: Exemples et analyses de recherche d’informations sur Internet

RECHERCHE « Cours de l’action Eurotunnel à la bourse de Paris » sur le moteur ALTA VISTA.

1 : Réponses à la requête ( les 10 premiers documents ) 2 : Choix du plus pertinent ( Netfund Bourse de Paris )

3 : Page d’accueil - Sélection du menu « cours » 4 : En-tête de la page de cotation

5 : Défilement vers le bas pour trouver « Eurotunnel »



Résultat de la recherche : Le cours de l’action Eurotunnel était de 5,65 Francs à la bourse de Paris le Mardi 16 Avril 1996.



Analyse du processus de recherche d’information en interface graphique : Exemple N°1 Requête posée : « Cours de l’action Eurotunnel à la bourse de Paris » Moteur de recherche utilisé : ALTA VISTA Observons tout d’abord les éléments de résultats de ma requête. DECOMPTE DES MOTS DE LA REQUETE : EUROTUNNEL : 1136 L ACTION : 7000 BOURSE : 13437 COURS :186234 PARIS :519156 IGNORED: À: 6514716, LA: 8759142, DE: 25249520 DOCUMENTS 1-10 (1 DUPLICATE REMOVED) OF ABOUT 10000 MATCHING SOME OF THE QUERY TERMS, BEST MATCHES FIRST. Sur ce premier document, j’ai donc dix liens hypertextes, qui, a priori, répondent à ma demande. Mais en fait, je n’en ai que deux visibles à l’écran. Pour voir les huit autres, il me faut manipuler la souris, pour visualiser la suite du document. • Je double-clique sur le premier lien : c’est une page texte, sans ancres vers d’autres

documents, et il n’y a pas l’information que je cherche. • Je choisis le bouton « Back » pour revenir à la page précédente. • Je double-clique sur le deuxième lien et je trouve le cours de l’action EUROTUNNEL

SA-PLC (RM) mais pour le Mercredi 27 Septembre 95 : en fait, il s’agit de la maquette d’un projet du Crédit Mutuel ; je reviens donc en arrière.

• Je fais défiler l’écran pour atteindre les autres ancres. Les troisième et quatrième liens n’ont pas l’air intéressant : l’un parce que j’y vois le mot maquette ( et j’ai déjà vu que cela ne me convenait pas ), et l’autre parce qu’il s’intitule Rhône-Poulenc.

• Le suivant « French Stock Quotes in Paris / Cours du Règlement Mensuel à Paris » me semble plus indiqué. Je le sélectionne.

• Une page d’accueil me propose de faire un choix parmi les menus suivants : | Introduction | Cours | CAC40 | Performance | Graphiques | Conseils | Trading | Contact . Je clique sur Cours.

• Ensuite, une nouvelle page m’est présentée : « Les cours de la Bourse de Paris : Règlement Mensuel DATE: 16 / 04 / 96 --- CAC40: 2097.30 points ».

• Je fais défiler la page pour atteindre l’action Eurotunnel, et je note que sa valeur est de 5,65 francs. J’enregistre ce document dans mon historique, pour le retrouver plus facilement plus tard.



RECHERCHE « le programme télé de la semaine » sur le moteur ALTA VISTA.

1 : Réponses à la requête ( les 10 premiers documents ) 2 : Choix du plus pertinent ( TV / Radio /Cinéma )

3 : Sélection « les programmes télé en France » 4 : Sélection « Film du Jeudi 18 Avril »

5 : Défilement vers le bas pour visualiser le programme 6 : Back 2 fois ( action N°3 ) et sélection « le programme »



7 : Programme TV pour la semaine ( six chaînes ; 20h30 ) Résultat de la recherche : Dans un premier temps, je trouve le résultat escompté sous la forme d’un texte ( résumé des films ou émissions du soir ) puis, dans un second temps, j’accède à une grille des programmes du 20H30 de la semaine en cours et de la semaine suivante.



Analyse du processus de recherche d’information en interface graphique : Exemple N°2 Requête posée : « Le programme télé de la semaine » Moteur de recherche utilisé : ALTA VISTA Observons tout d’abord les éléments de résultats de ma requête. DECOMPTE DES MOTS DE LA REQUETE : SEMAINE : 26288 TELE : 119350 PROGRAMME : 523114 LE :3529131 IGNORED: LA: 8759142, DE: 25249520 DOCUMENTS 1-10 OF ABOUT 20000 MATCHING SOME OF THE QUERY TERMS, BEST MATCHES FIRST. • Je sélectionne l’ancre se rapportant le plus à ce que je cherche. C’est en fait une page créée

par un étudiant de l’université de Nice, et les programmes télé proposés sont indisponibles. Je reviens en arrière d’un cran pour choisir un autre lien.

• Là encore, je dois faire défiler la page de résultats pour accéder au lien qui me paraît le plus pertinent. C’est le dixième de la liste.

• Une page sophistiquée se présente à moi. L’ascenseur de droite m’indique que ce document est assez long et il semble contenir beaucoup d’hyperliens. J’opte pour le lien concernant les programmes télé.

• La page suivante me permet de choisir un thème parmi les suivants : Film | Série | Emission | Sport | Variétés/Musique | Enfants | ainsi qu’un jour de la semaine. Je veux voir les informations concernant les films du jeudi 18 Avril 1996.

• Je constate que le programme de TF1 n’est pas disponible pour ce jour là. Pour la deuxième chaîne, je n’obtiens que le film de 23h10, mais pour toutes les autres, je découvre bien l’information désirée.

• Je reviens en arrière d’un cran pour revoir la page du menu général de ce serveur. • J’essaye « Le programme télé des émissions pour ce soir ». La page n’est pas mise à

jour . • Je tente « Le programme télé des émissions de 20h30 (cette semaine et la suivante) » , et

j’accède à une grille des émissions pour les six chaînes françaises. • J’enregistre ce document dans mon historique, pour le retrouver plus facilement plus tard. • Je note également que sur la page précédente, certains liens n’étaient en fait pas du texte,

mais des logos ( TF1, France2, France3, etc.) • Je me rend compte que l’indexation des termes est relativement précise sur ce moteur de

recherche, car je trouve différents sites selon que j’emploie le mot « télé », « TV » ou « Télévision ». Je décèle même une différence de résultats pour une même requête, selon qu’elle est saisie en minuscule ou en majuscule.



ANNEXE A2 : Statistiques sur le nombre de termes pertinents pour une requête sur

Alta Vista d'Internet

Termes de la requête : Nb Mots Trouvés

Rang du lien pertinent

Dominance sémantique

cours 186234 123 Leçon ; en cours de ... action 1670983 0 Faire quelque chose Eurotunnel 944 0 Tunnel sous la Manche bourse 13437 85 Finance, Echange, Thèse. Paris 409645 19 Capitale de la France

cours+action 0 Leçon cours+Eurotunnel 143 Leçon ; en cours de ... cours+bourse 8 Marché financier cours+Paris 3 Ville de Paris

action+Eurotunnel 0 Tunnel sous la Manche action+bourse 91 Marché financier action+Paris 0 A voir / faire à Paris

Eurotunnel+bourse 95 Finance Eurotunnel+Paris 0 ?

bourse+Paris 2 Bourse de Paris - CAC 40

cours+action+Eurotunnel 0 Leçon ; en cours de ... cours+action+bourse 12 Marché financier cours+action+Paris 3 Marché financier

action+Eurotunnel+bourse 103 Echange ; Marché financieraction+Eurotunnel+Paris 0 ?

Eurotunnel+bourse+Paris 8 Marché financier

cours+action+Eurotunnel+bourse 9 Marché financier cours+action+Eurotunnel+Paris 54 Echange ; Marché financier

cours+action+Eurotunnel+bourse+Paris 4 Marché financier

Mode de lecture : A la première requête ( le seul mot "cours" ) il faut aller jusqu'au 123 ème lien (ancre HTML ) :



Pour obtenir un serveur qui donne le cours de l'action Eurotunnel à la bourse de Paris. Comme le moteur de recherche Alta Vista affiche ses résultats 10 par 10, cela signifie donc qu'il faut traverser 13 couches d'hypertexte pour atteindre l'information désirée. En effet, le 123ème lien est présenté sur la 13ème page ( résultats 121 à 130 ).

Termes synonymes : X+Y signifie : X ième lien du résultat de la requête + Y ième lien à partir du X ième lien

Termes de la requête : Nb Mots Trouvés

Rang du lien pertinent

Dominance sémantique

cotation 600 110+2 assurances ; finances portefeuille 4131 0 ? boursier 2009 65+3 Etudiant boursier prix 134347 0 Grand Prix F1, Prix Nobel finance 607834 0 Finance et investissement financier 11790 0 Finance et investissement marché 48417 121+6 Marchés : offre / demande capitaux 3359 16+1 Banques, finances change 2511479 0 Changer de ... échange 15815 0 Echange entre ..

marché boursier 179+3 Capitaux, placements marché cotation 30+6 Bourse et finance marché capitaux 122+3 Finance et investissement



ANNEXE A3 : PRINCIPE DE BASE DE NETPHONIC’S WEB-ON-CALL

THE CONVERGENCE OF COMMUNICATIONS (http://www.netphonic.com/info/converil.html)

Access Web documents with only a touch-tone phone, cellular phone, or fax machine.

ALL YOUR INFORMATION IN ONE PLACE (http://www.netphonic.com:80/info/alloneil.html)



Information storage and access before and after Web-On-Call ANNEXE A4 : pwWebSpeak pwWebSpeak est un browser spécialement conçu pour les personnes ayant des problèmes de vision (petits troubles jusqu'à une complète cécité). Il substitue un mode d’interaction par un autre, en permettant aux utilisateurs de ce logiciel d’entendre le contenu des pages web, grâce à un processus de synthèse vocale. Il permet à la fois d’appréhender le texte des documents, et les ancres HTML (les liens) vers d’autres pages. Il fonctionne sous Windows 95 et supporte de nombreux synthétiseurs de voix.

Le principe de fonctionnement de pwWebSpeak (http://www.prodworks.com/pwwebspk.htm)

Hakkinen et Ingram pensent pouvoir distribuer (électroniquement) 9000 copies de leur logiciel d’ici la fin de l’année 1996. (au prix de $250 grand public, et $125 pour les institutions, bibliothèques, agences du gouvernement, etc.)

Note : Il n’existe pas de référence scientifique relative à ce projet ( à ce jour )

Subject: Re: about pwWebSpeak Date: Tue, 14 May 1996 22:44:47 -0400 From: "Ray Ingram, The Productivity Works, Inc" <[email protected]> To: jose rouillard <[email protected]> Jose, There are no real scientific references to it as it is too new. We carried out the fundamental research, design, and development ourselves, and funded this ourselves. What you see on the web pages is what is accessible. We showed pwWebSpeak to a broad audience the first time at the CSUN (California State University, Northridge) Conference in March. It has been in various stages of beta testing for close to 3 months, and has undergone a 9 month development cycle. We also showed the product at the World Wide Web Conference in Paris last week. I hope this provides some input for you. We plan to be in production with the first release of the system in very early June. regards, Ray Ingram The Productivity Works, Inc.



A5 : EXTRAITS DU CODE SOURCE DE L’APPLICATION FACOPI Ci dessous, le code de la procédure associée à la barre d’outils qui gère les événements de l’interface. Private Sub Toolbar1_ButtonClick(ByVal Button As Button) Dim yalien As Integer Dim tourne As Integer Dim oneadresse As String Dim marequete As String Dim blanc As Integer Dim dejadscollection As Integer Dim element As String blanc = 0 Select Case Button.Index Case 1 ' ouvrir fichier Dim strURL As String dlgFileOpen.Filter = "HTML Files (*.htm)|*.htm|All(*.*)|*.*" dlgFileOpen.FilterIndex = 0 dlgFileOpen.ShowOpen strURL = "file:///" & dlgFileOpen.filename Dim lTok As Long lTok = InStr(strURL, "\") While lTok <> 0 Mid$(strURL, lTok, 1) = "/" lTok = InStr(strURL, "\") Wend HTML1.RequestDoc (strURL) Case 2 ' nlle fenetre du browser Dim vNewForm As Object Set vNewForm = New Feuilleteur vNewForm.Left = Feuilleteur.Left + 550 vNewForm.Top = Feuilleteur.Top + 550 vNewForm.Show 'There was not enough time to implement a database 'solution for history and navigation. This will 'appear in a future Beta. Use the combo box for 'history. Case 4 ' en arriere ' si pas de pages lues, pas d'arriere possible If boitenbpagelues = "" Or boitelienactu = boitenbpagelues - 1 Then



reponse = MsgBox("Désolé. Pas de page précédente...", 16 + 0, "Attention") Else 'sinon, si boitelienactu n'est pas le dernier de la liste, j'avance If boitelienactu < boitenbpagelues Then boitelienactu = boitelienactu + 1 ' charge la page de l'adresse HTTP ayant la valeur de la boitelienactu ' ( en sens inverse du fichier histo, et en tenant cpte du zero ) ' 1ere Etape / 2: savoir combien y'a de liens 'ouvre histotempo en interro seule yalien = 0 Open "d:\facopi\histotempo.txt" For Input As #1 While Not EOF(1) Input #1, oneadresse yalien = yalien + 1 Wend Close '2eme etape / 2 : aller chercher l'adresse voulue pour lien actif 'ouvre histotempo en interro seule en sachant combien y a de liens: Open "d:\facopi\histotempo.txt" For Input As #1 For tourne = yalien - 1 To 0 Step -1 Input #1, oneadresse If tourne = boitelienactu Then HTML1.RequestDoc (oneadresse) End If Next Close ' j'indique qu'a eu back Open "d:\facopi\status.txt" For Output As #2 Print #2, "yes" Print #2, "no" Close #2 ' sauvegarde le lien actif dans lienactif (ecrase ancienne valeur) Open "d:\facopi\lienactif.txt" For Output As #1 Print #1, boitelienactu Close Else reponse = MsgBox("Désolé. Pas de page précédente...", 16 + 0, "Attention") ' MsgBox ("Désolé. Pas de page précédente...")



End If End If Case 5 ' en avant ' si pas de pages lues, pas d'avant possible If boitenbpagelues = "" Or boitelienactu <= 0 Then reponse = MsgBox("Désolé. Pas de page suivante...", 16 + 0, "Attention") Else 'sinon, si boitelienactu n'est pas le dernier de la liste, je recule dans la liste If boitelienactu < boitenbpagelues Then boitelienactu = boitelienactu - 1 ' charge la page de l'adresse HTTP ayant la valeur de la boitelienactu ' ( en sens inverse du fichier histo, et en tenant cpte du zero ) ' 1ere Etape / 2: savoir combien y'a de liens 'ouvre histotempo en interro seule yalien = 0 Open "d:\facopi\histotempo.txt" For Input As #1 While Not EOF(1) Input #1, oneadresse yalien = yalien + 1 Wend Close '2eme etape / 2 : aller chercher l'adresse voulue pour lien actif 'ouvre histotempo en interro seule en sachant combien y a de liens: Open "d:\facopi\histotempo.txt" For Input As #1 For tourne = yalien - 1 To 0 Step -1 Input #1, oneadresse If tourne = boitelienactu Then HTML1.RequestDoc (oneadresse) End If Next Close ' j'indique qu'a eu foward Open "d:\facopi\status.txt" For Output As #2 Print #2, "no" Print #2, "yes" Close #2 ' sauvegarde le lien actif dans lienactif (ecrase ancienne valeur) Open "d:\facopi\lienactif.txt" For Output As #1 Print #1, boitelienactu Close



Else reponse = MsgBox("Désolé. Pas de page suivante...", 16 + 0, "Attention") ' MsgBox ("Désolé. Pas de page précédente...") End If End If Case 7 ' stop reponse = MsgBox("Voulez-vous arrêter de charger la page ?", 1 + 16, "Arrêt demandé par l'utilisateur") If reponse = 1 Then HTML1.Cancel End If Case 8 ' rafraichir HTML1.RequestDoc (Combo1.Text) Case 10 ' home HTML1.RequestDoc ("http://www-lgi.imag.fr/~rouillar/") Case 12 ' recherche sur A-Vista reponse = InputBox("Taper le ou les mots-clefs de votre recheche :", "Mot-clef pour Moteur de Recherche") If reponse <> "" Then 'je cherche les blancs dans la phrase de mot-clef For tourne = 1 To Len(reponse) If Mid$(reponse, tourne, 1) = " " Then blanc = blanc + 1 End If ' du mid$ Next ' si pas de blanc => un seul mot clef : If blanc = 0 Then marequete = "http://www.altavista.digital.com/cgi-bin/query?pg=q&what=web&fmt=.&q=" + reponse HTML1.RequestDoc (marequete) Else 'y'a des blancs dans la phrase de mot-clefs 'req vierge marequete = "http://www.altavista.digital.com/cgi-bin/query?pg=q&what=web&fmt=.&q=" For tourne = 1 To Len(reponse) If Mid$(reponse, tourne, 1) <> " " Then marequete = marequete + Mid$(reponse, tourne, 1) Else



marequete = marequete + "+" End If Next HTML1.RequestDoc (marequete) End If ' blanc=0 End If 'de reponse<>"" Case 14 ' recherche par mot-clef ( on passe a la fiche de mot-clef associee ) Alta-vista fichemotclef.Show Case 16 ' Histo Historique.Show Case 19 ' Options ficheoptions.Show Case 21 ' source If Combo1.Text <> "" Then fichesource.Show Else reponse = MsgBox("Impossible de montrer le source.", 0 + 16, "Pas de page en cours ...") End If Case 23 ' Recherche FACOPI ficherecherche.Show Case 25 ' Voir collection fichecollection.Show Case 27 ' Add ds collection dejadscollection = 0 If Combo1.Text <> "" Then Open "d:\facopi\book.txt" For Input As #1 While Not EOF(1) Input #1, element If element = Combo1.Text Then



dejadscollection = 1 End If Wend Close If dejadscollection = 0 Then ' ca chercher le source Enregistrement.Show ' Open "d:\facopi\book.txt" For Append As #1 ' Print #1, Combo1.Text ' Close ' reponse = MsgBox("Je viens de sauver cette page dans votre collection") Else reponse = MsgBox("Impossible d'ajouter ce document à la collection.", 0 + 16, "Ce document est deja dans votre collection ...") End If Else reponse = MsgBox("Impossible d'ajouter ce document à la collection.", 0 + 16, "Pas de page en cours ...") End If Case 29 ' Recherche satisfaisante ficherechercheok.Show Case 31 ' Reco vocale fichereco.Show Case 33 ' quitter ... reponse = MsgBox("Confirmez votre Sortie", 4 + 32, "Quitter FACOPI") If reponse = 6 Then End End If Case 35 ' A propos de ... reponse = MsgBox("Feuilleteur" + Chr$(13) + "A" + Chr$(13) + "Commandes" + Chr$(13) + "Orales" + Chr$(13) + "pour" + Chr$(13) + "Internet" + Chr$(13) + Chr$(13) + "José Rouillard, Equipe GEOD, Laboratoire CLIPS" + Chr$(13) + "1996", 0 + 64, "A propos de FACOPI") End Select



End Sub Ci dessous, le code de la procédure qui récupère la chaîne ASCII envoyée par Echovoice à FACOPI pour la reconnaissance vocale. Private Sub Form_KeyPress(KeyAscii As Integer) Dim recook As String Dim testable As Integer ' si 1, je vais voir le reste Dim element As String Dim trouve As Integer If Chr$(KeyAscii) = "." Then Cls Print "Liste des termes présents dans le dictionnaire vocal :" Print: Print " ARRIERE " Print " AVANCER " Print " COLLECTION " Print " D'ACCORD " Print " HISTORIQUE " Print " INFORMATION " Print " MOTEUR" Print " QUITTER" Print " RECHERCHE " Print " SOURCE " Print Print "MOT-CLEF RECONNU à "; Print Time$; " = "; Print recovocale recook = recovocale If recook = "D'ACCORD" Then testable = 1 Else recomoinsun = recook testable = 0 End If recovocale = "" Else recovocale = recovocale + Chr$(KeyAscii) End If Print: Print " Dites -D'ACCORD- pour confirmer." '*************************************************************************** If testable = 1 Then ''''''''''''''''''''''''''''''''''''''''''''''''''' If recomoinsun = "AVANCER" Then ' en avant



' si pas de pages lues, pas d'avant possible If Feuilleteur.boitenbpagelues = "" Or Feuilleteur.boitelienactu <= 0 Then reponse = MsgBox("Désolé. Pas de page suivante...", 16 + 0, "Attention") Else 'sinon, si boitelienactu n'est pas le dernier de la liste, je recule dans la liste If Feuilleteur.boitelienactu < Feuilleteur.boitenbpagelues Then Feuilleteur.boitelienactu = Feuilleteur.boitelienactu - 1 ' charge la page de l'adresse HTTP ayant la valeur de la boitelienactu ' ( en sens inverse du fichier histo, et en tenant cpte du zero ) ' 1ere Etape / 2: savoir combien y'a de liens 'ouvre histotempo en interro seule yalien = 0 Open "d:\facopi\histotempo.txt" For Input As #1 While Not EOF(1) Input #1, oneadresse yalien = yalien + 1 Wend Close '2eme etape / 2 : aller chercher l'adresse voulue pour lien actif 'ouvre histotempo en interro seule en sachant combien y a de liens: Open "d:\facopi\histotempo.txt" For Input As #1 For tourne = yalien - 1 To 0 Step -1 Input #1, oneadresse If tourne = Feuilleteur.boitelienactu Then Feuilleteur.HTML1.RequestDoc (oneadresse) End If Next Close ' j'indique qu'a eu foward Open "d:\facopi\status.txt" For Output As #2 Print #2, "no" Print #2, "yes" Close #2 ' sauvegarde le lien actif dans lienactif (ecrase ancienne valeur) Open "d:\facopi\lienactif.txt" For Output As #1 Print #1, boitelienactu Close Else reponse = MsgBox("Désolé. Pas de page suivante...", 16 + 0, "Attention") ' MsgBox ("Désolé. Pas de page précédente...") End If



End If End If '''''''''''''''''''''''''''''''''''''''''''''''' If recomoinsun = "ARRIERE" Then ' en arriere ' si pas de pages lues, pas d'arriere possible If Feuilleteur.boitenbpagelues = "" Or Feuilleteur.boitelienactu = boitenbpagelues - 1 Then reponse = MsgBox("Désolé. Pas de page précédente...", 16 + 0, "Attention") Else 'sinon, si boitelienactu n'est pas le dernier de la liste, j'avance If Feuilleteur.boitelienactu < Feuilleteur.boitenbpagelues Then Feuilleteur.boitelienactu = Feuilleteur.boitelienactu + 1 ' charge la page de l'adresse HTTP ayant la valeur de la boitelienactu ' ( en sens inverse du fichier histo, et en tenant cpte du zero ) ' 1ere Etape / 2: savoir combien y'a de liens 'ouvre histotempo en interro seule yalien = 0 Open "d:\facopi\histotempo.txt" For Input As #1 While Not EOF(1) Input #1, oneadresse yalien = yalien + 1 Wend Close '2eme etape / 2 : aller chercher l'adresse voulue pour lien actif 'ouvre histotempo en interro seule en sachant combien y a de liens: Open "d:\facopi\histotempo.txt" For Input As #1 For tourne = yalien - 1 To 0 Step -1 Input #1, oneadresse If tourne = Feuilleteur.boitelienactu Then Feuilleteur.HTML1.RequestDoc (oneadresse) End If Next Close ' j'indique qu'a eu back Open "d:\facopi\status.txt" For Output As #2 Print #2, "yes" Print #2, "no" Close #2



' sauvegarde le lien actif dans lienactif (ecrase ancienne valeur) Open "d:\facopi\lienactif.txt" For Output As #1 Print #1, boitelienactu Close Else reponse = MsgBox("Désolé. Pas de page précédente...", 16 + 0, "Attention") ' MsgBox ("Désolé. Pas de page précédente...") End If End If End If '''''''''''''''''''''''''''''''''''''''''''''''' ' Voir collection If recomoinsun = "COLLECTION" Then fichecollection.Show ' fermer la fiche actuelle End If ' de recook = "COLLECTION" '''''''''''''''''''''''''''''''''''''''''''''''' ' source If recomoinsun = "SOURCE" Then If Feuilleteur.Combo1.Text <> "" Then fichesource.Show Else reponse = MsgBox("Impossible de montrer le source.", 0 + 16, "Pas de page en cours ...") End If End If ' de recook = "SOURCEUR" '''''''''''''''''''''''''''''''''''''''''''''''' ' pour recherche dans fichier index de facopi If recomoinsun = "RECHERCHE" Then ' recherche par mot-clef ( on passe a la fiche de mot-clef associee ) ficherecherche.Show End If ' de reco-1= "recherche" '''''''''''''''''''''''''''''''''''''''''''''''' ' pour historique If recomoinsun = "HISTORIQUE" Then Historique.Show End If ' de reco-1= "historique" '''''''''''''''''''''''''''''''''''''''''''''''' ' pour recherche sur moteur de recherche Alta vista If recomoinsun = "MOTEUR" Then ' recherche



reponse = InputBox("Taper le ou les mots-clefs de votre recheche :", "Mot-clef pour Moteur de Recherche") If reponse <> "" Then 'je cherche les blancs dans la phrase de mot-clef For tourne = 1 To Len(reponse) If Mid$(reponse, tourne, 1) = " " Then blanc = blanc + 1 End If ' du mid$ Next ' si pas de blanc => un seul mot clef : If blanc = 0 Then marequete = "http://www.altavista.digital.com/cgi-bin/query?pg=q&what=web&fmt=.&q=" + reponse Feuilleteur.HTML1.RequestDoc (marequete) Else 'y'a des blancs dans la phrase de mot-clefs 'req vierge marequete = "http://www.altavista.digital.com/cgi-bin/query?pg=q&what=web&fmt=.&q=" For tourne = 1 To Len(reponse) If Mid$(reponse, tourne, 1) <> " " Then marequete = marequete + Mid$(reponse, tourne, 1) Else marequete = marequete + "+" End If Next Feuilleteur.HTML1.RequestDoc (marequete) End If ' blanc=0 End If 'de reponse<>"" End If ' de reco-1= recherche '''''''''''''''''''''''''''''''''''''''''''''''' ' pour quitter If recomoinsun = "QUITTER" Then ' quitter ... reponse = MsgBox("Confirmez votre Sortie", 4 + 32, "Quitter FACOPI") If reponse = 6 Then End End If End If ' de reco-1= "quitter"



'''''''''''''''''''''''''''''''''''''''''''''''' ' pour information If recomoinsun = "INFORMATION" Then ' A propos de ... reponse = MsgBox("Feuilleteur" + Chr$(13) + "A" + Chr$(13) + "Commandes" + Chr$(13) + "Orales" + Chr$(13) + "pour" + Chr$(13) + "Internet" + Chr$(13) + Chr$(13) + "José Rouillard, Equipe GEOD, Laboratoire CLIPS" + Chr$(13) + "1996", 0 + 64, "A propos de FACOPI") End If ' de reco-1= info '''''''''''''''''''''''''''''''''''''''''''''''' 'si mot clef "cours" ou "tele" If recomoinsun = "COURS" Or recomoinsun = "TELE" Then recomoinsun = "MC-" + recomoinsun trouve = 0 ' ouvre fichier INDEX et charge dans boite ' en lecture seule Open "d:\facopi\index2.txt" For Input As #1 While Not EOF(1) Input #1, element ' si c'est un mot clef If Left(element, 3) = "MC-" Then ' et si match avec unmot If element = recomoinsun Then trouve = trouve + 1 ' je prepare la fiche proprement fichemotclef. ' je vide la combosens While fichemotclef.combosens.ListCount <> 0 fichemotclef.combosens.RemoveItem (0) Wend ' je vide la combointitule While fichemotclef.Combointitule.ListCount <> 0 fichemotclef.Combointitule.RemoveItem (0) Wend fichemotclef.boiteadresseterme = "" fichemotclef.boitenbintitule = "" ' fin de la prepra fichemotclef.Motclef = Right$(recomoinsun, Len(recomoinsun) - 3) fichemotclef.Show message = MsgBox(Right$(recomoinsun, Len(recomoinsun) - 3), 48 + 0, "J'ai reconnu le Mot-clef suivant :")



End If ' de element=recomoinsun End If 'du left Wend Close End If 'recomoinsun = "COURS" Or recomoinsun = "TELE" Then '******************************************************************************* fichereco.Hide testable = 0 End If ' de testable = 1 Then End Sub Ci dessous, le code de la procédure qui récupère le source d’un document du web et qui regroupe les ancres HTML dans une boîte de l’interface. '------------------------------------------------------------ Private Sub HTTP_DocOutput(ByVal DocOutput As DocOutput) '------------------------------------------------------------ Dim URL As String Dim EXT As String Dim cNode As Node Dim vData As Variant Dim codesource As String Dim t As Long Dim n As Long Dim nblong As Long Dim nbancres As Integer Dim lettreactu As String Dim ancreactu As String Dim nomdulien As String Dim yaHREF As Integer ' = y'a HREF, c'est a dire y'a une ancre apres ... Dim yaTITRE As Integer Dim pascontinuer As Integer Dim nbde32 As Integer Dim premiereHREF As Integer ' si c'est la premiere, c'est souvent la base HREF Dim baseHREF As String Dim titrepage As String premiereHREF = 0 ' si 0 alors pas encore trouvee yaHREF = 0



nbancres = 0 titrepage = "" '------------------------------------------------------------ Select Case DocOutput.State Case icDocBegin Screen.MousePointer = vbHourglass httpDoc = "" Case icDocHeaders Case icDocData Debug.Print "Bytes: " & Str$(DocOutput.BytesTransferred) & "/" & _ Str$(DocOutput.BytesTotal) If (httpDocName = "") Then DocOutput.GetData vData httpDoc = httpDoc & vData End If ' de(httpDocName = "") Case icDocEnd If (httpDocName = "") Then txtHTTP.Text = httpDoc 'affectation a la variable codesource = httpDoc 'traitement de cette variable pour recherche d'ancres nblong = Len(codesource) For t = 1 To nblong lettreactu = Mid$(codesource, t, 1) 'si je suis pret a recevoir le titre If yaTITRE = 1 Then If lettreactu <> "<" Then titrepage = titrepage + lettreactu Else yaTITRE = 0 ' j'ai mon titre brut, faut le retailler ' j'enleve 6 lettres a gauche ( =restant de title ) titrepage = Right$(titrepage, Len(titrepage) - 6) boitetitre = titrepage ' ouvre fichier TITRE et sauve Open "d:\facopi\titre.txt" For Output As #1 Print #1, titrepage Close End If 'lettreactu <> "<" End If ' yaTITRE 'si je suis pret a recevoir une ancre If yaHREF = 1 Then If lettreactu <> ">" Then ancreactu = ancreactu + lettreactu



Else nomdulien = "" yaHREF = 0 nbancres = nbancres + 1 pascontinuer = 0 For n = 1 To 60 If Mid$(codesource, t + n, 1) <> "<" And pascontinuer = 0 Then nomdulien = nomdulien + Mid$(codesource, t + n, 1) Else pascontinuer = 1 End If Next n If nomdulien = "" Then nomdulien = "Sans titre" End If nomdulien = " " + nomdulien If premiereHREF = 0 Then ' j'ai trouve la base baseHREF = Right$(ancreactu, Len(ancreactu) - 3) ' ouvre fichier BASE et sauve adresse de base de cette page Open "d:\facopi\base.txt" For Output As #1 Print #1, baseHREF Close premiereHREF = 1 End If boiteancres.AddItem (Str$(nbancres) + nomdulien + Right$(ancreactu, Len(ancreactu) - 3)) ancreactu = "" End If End If ' on cherche a trouver ' HREF= ' If lettreactu = "H" Or lettreactu = "h" Then If Mid$(codesource, t + 1, 1) = "R" Or Mid$(codesource, t + 1, 1) = "r" Then If Mid$(codesource, t + 2, 1) = "E" Or Mid$(codesource, t + 2, 1) = "e" Then If Mid$(codesource, t + 3, 1) = "F" Or Mid$(codesource, t + 3, 1) = "f" Then If Mid$(codesource, t + 4, 1) = Chr$(61) Then yaHREF = 1 End If End If End If End If End If ' de "H" ' on cherche a trouver ' TITLE ' If lettreactu = "<" Then If Mid$(codesource, t + 1, 1) = "T" Or Mid$(codesource, t + 1, 1) = "t" Then If Mid$(codesource, t + 2, 1) = "I" Or Mid$(codesource, t + 2, 1) = "i" Then



If Mid$(codesource, t + 3, 1) = "T" Or Mid$(codesource, t + 3, 1) = "t" Then If Mid$(codesource, t + 4, 1) = "L" Or Mid$(codesource, t + 4, 1) = "l" Then If Mid$(codesource, t + 5, 1) = "E" Or Mid$(codesource, t + 5, 1) = "e" Then If Mid$(codesource, t + 6, 1) = ">" Then yaTITRE = 1 End If End If End If End If End If End If End If ' de "T" Next t 'affecte la boite boitenbancres = nbancres On Error Resume Next cNode.Expanded = True End If httpDoc = "" Screen.MousePointer = vbDefault Case Else HTTP.URL = "" httpDoc = "" httpDocName = "" Screen.MousePointer = vbDefault End Select '------------------------------------------------------------ End Sub '------------------------------------------------------------ A6 : TABLE DES ILLUSTRATIONS Numéro Intitulé du Schéma Localisation

0 Résumé page 2 1 Nombre de serveurs WWW français page 6 2 Accroissement du nombre de serveurs page 6 3 Navigation augmentée et R.I multimodale page 9 4 Processus de navigation hypertexte page 10 5 Population cible du projet Miweb page 11 6 Interaction à la souris en hypermédia page 12 7 Interaction en langage naturel en hypermédia page 12



8 pwWebSpeak page 14 9 Carte de positionnement des browsers page 15 10 Modèle de dialogue oral pour Internet page 17 11 Représentation graphique d'un signal acoustique page 20 12 Champs sémantiques et conceptuels page 21 13 Précision et rappel en recherche d'information page 23 14 Modèle de réseaux sémantiques interconnectés page 25 15 Exemple de réseaux sémantiques interconnectés page 26 16 Table des index de réseaux sémantiques page 27 17 Structure de l’application FACOPI page 34 18 La barre d’outils de FACOPI page 35 19 Une page HTML présentée par FACOPI page 35 20 Informer l’utilisateur de l’état actuel du système page 36 21 Historique de la session en cours page 37 22 Collection des pages sauvegardées et accessibles page 37 23 Code source HTML et ancres de la page en cours page 38 24 Recherche selon un énoncé complet page 39 25 Mot-clef reconnu et proposition de différents choix. Page 40 26 La page adéquate est présentée à l’usager page 40 27 Même mot-clef, mais sens différent page 41 28 Pas de mot-clef reconnu, proposition d’une alternative page 41 29 Recherche sur Alta-Vista selon les termes de la requête initiale page 42 30 Mise à jour des index après une recherche fructueuse page 42 31 Utilisation de la voix comme moyen d’interaction avec

l’ordinateur page 43

32 Reconnaissance vocale du terme « ARRIERE » page 43 33 Reconnaissance vocale du terme « TELE » page 44 34 Une fois validé, le mot-clef « TELE » permet de retrouver le thème page 45

A7 : REMERCIEMENTS Je remercie les membres du jury d’avoir consacré du temps pour prendre connaissance de ce rapport. Je souhaite remercier Messieurs Jean Caelen et Harouna Kabré, qui m’ont initié au monde de la recherche grâce à ce sujet plaisant et ambitieux. J’associe également tout le groupe GEOD à ces remerciements. Ils ont su faire naître en moi la fibre de la recherche et le goût du travail d’équipe. Je tiens également à me faire pardonner auprès de ma mère que j’ai quelque peu délaissée pour me consacrer pleinement à mes travaux de recherche.

TABLE DES MATIERES

RESUME p. 2 1 : INTRODUCTION p. 3

1.1: Objectifs p. 4 1.2 : Méthodologie p. 4 1.3: Internet aujourd’hui p. 5

1.3.1 Le World Wide Web (WWW ou Web) p. 5 1.3.2 La navigation en hypertexte p. 7 1.3.3 Les problèmes rencontrés par les utilisateurs p. 7

2 : LA NAVIGATION AUGMENTEE POUR INTERNET p. 9



2.1 : Comparaison entre différents types d’interactions p.11 2.2 : Etat de l’art du domaine p.12 2.3 : La recherche d’information multimodale p.16

3 : MODELE DE DIALOGUE ORAL POUR INTERACTION SUR INTERNET p.17 3.1 : Modèle de feuilleteur générique multimodal pour Internet p.17

♦ Reconnaissance des mots-clefs p.19 ♦ Analyse sémantique de concepts p.21 ♦ Procédure de sous-dialogue p.22 ♦ Formulation de la requête p.22 ♦ Soumission au moteur de recherche p.23 ♦ Présentation multimodale des résultats p.23 ♦ Eventuel Bouclage [ Relevance Feedback ] p.23 ♦ Observation des comportements p.23

3.2 : Les bases du dialogue et de la navigation augmentée pour Internet p.24 Le Butinage p.24 La Navigation Libre p.24 La Navigation Assistée p.24 Modèle de réseaux sémantiques interconnectés p.25 Définition des lexiques et des index p.26

3.3 : Algorithme du processus de navigation p.27 Structure de fichier d’index utilisé et exemple de contenu p.31 Mise à jour des index lorsque le résultat de la recherche est satisfaisant p.31

4 : REALISATION LOGICIELLE : p.33 4.1 Matériel, logiciel et environnement de développement p.33 4.2 FACOPI : Feuilleteur A Commandes Orales Pour Internet p.34

4.2.1 Objectifs et principes de fonctionnement p.34 4.2.2 Fonctionnalités de l’interface p.34 4.2.3 Navigation classique

p.35 4.2.4 Navigation vocale p.43 4.2.5 Etat d’avancement du projet p.45

5 : CONCLUSION, RESULTATS ET PERSPECTIVES p.46 Un modèle sur lequel se fonder p.46 De l’intérêt de l’intégration de la voix dans une interaction pour Internet p.47 De la théorie à la pratique p.47 Quelques perspectives p.47

6 : BIBLIOGRAPHIE p.48 7 : ANNEXES p.53

A1 : Exemples et analyses de recherche d’informations sur Internet p.54 Recherche « Cours de l’action Eurotunnel à la bourse de Paris » sur ALTA VISTA p.54 Analyse du processus de recherche d’information en interface graphique : Exemple N°1 p.55 Recherche « le programme télé de la semaine » sur ALTA VISTA p.56 Analyse du processus de recherche d’information en interface graphique : Exemple N°2 p.58

A2 : Statistiques sur le nombre de termes pertinents pour une requête sur Alta Vista. p.59 A3 : Principe de base de Netphonic’s Web-On-Call p.61 A4 : pwWebSpeak (New product makes the Internet WWW usable by visually impaired) p.62 A5 : Extraits du code source de l’application FACOPI p.63 A6 : Table des illustrations p.79 A7 : Remerciements p.79