LIG Ñ Dossier de contractualisation 225 RAPPORT D'ACTIVITE ...1/32 GETA (Groupe d’Etude pour la Traduction Automatique) Responsable Christian Boitet, professeur, université Joseph

- 1 -

RAPPORT D'ACTIVITE

et PROJET SCIENTIFIQUE

Equipe GETALPResponsable : Hervé Blanchon, Maître de Conférences, Université Pierre

Mendès France

Au sein du LIG les deux équipes GETA et GEOD du laboratoire CLIPS vont fusionnerpour ne former qu’une seule équipe autour de l’étude du traitement et de la traductionautomatique de la langue écrite et de la parole.

1. PERSONNEL

Cf. fiches GETA et GEOD.

2. BILAN DES ACTIVITES DE RECHERCHE 02-05


3. ACTIVITES D’ENCADREMENT


4. COLLABORATION ET VALORISATION


5. PUBLICATIONS (01-05)


LIG — Dossier de contractualisation 225

- 2 -

6. PRINCIPALES RESPONSABILITES SCIENTIFIQUESET ADMINISTRATIVES


7. PERSPECTIVES DE RECHERCHE 06-10

Annexes

Pour les annexes cf. fiches GETA et GEOD.


1/32

GETA (Groupe d’Etude pour la Traduction Automatique)

ResponsableChristian Boitet, professeur, université Joseph Fourier

Personnel au 1/1/05Arrivée Diplôme Position, employeur

Enseignants-chercheursChristian Boitet 1/9/70 DE-info 4/76 PR1 UJFEtienne Blanc 1/9/88 DE-phys 74 MC1 UJF (retr.)Æcoll. bén. UJF (L&I)Hervé Blanchon 1/9/89 HDR 12/04 MC1 UPMFGeorges Fafiotte 1/9/93 D-info 2/94 MC1 UPMFDamien Genthial 1/9/99 D-info 9/91 MC1 UPMFGilles Sérasset 1/9/90 D-info 12/94 MC1 UJF, délégation CNRS 03-05Jérôme Goulian 1/9/03 D-info 12/01 MC2 UPMFEmmanuelle Rodier 1/2/05 D-ling 11/00 MC1 UJFIngénieursJean-Claude Durand 1/4/00 D-info 88 IR2 CNRSJean-Philippe Guilbaud 1/9/78 D-ling 81 IR1 CNRSInvitésMutsuko Tomokiyo 1/9/94 D-ling 99 CSTAR, PapillonZong Chengqing 1/11/04- Ph.!D. info DR CASIA, PékinPushpak Bhattacharrya 5—7/05- Ph.!D. info PR IITB, BombayAssociésDaniel!Baud 1/9/95 DRA 20% BULL+CNRSMark Seligman 1/10/97— Ph.D. L&I Projet CSTAR, création de SpokenEmmanuel Planas 1/10/00 D-info 98 Création de Lingua & MachinaValérie Bellynck 1/6/04— D-info 1998 MC INPG, Projets Papillon, ITOLDUVincent!Berment 1/10/00 D-info 2004 Communications & Systèmes 100%ThésardsWenJie Cao 1/06/04 2007-08 Bourse MIRA, cotutelle CASIA (D1)Achille Falaise 1/10/03 2007-08 Bourse CIFRE Prosodie (D1)Etienne Denoual 1/10/03 2006-07 Bourse ATR, + Lepage, Besacier (D2)Youcef Bey 1/10/03 2006-07 Soutien NII Japon (D2)Supeeti Kulchan 1/10/03 2006-07 Bourse Thaïlande (D2)Najeh Hajlaoui 1/10/02 2006-07 Arr. après DEA (D3)Daoud Daoud 1/11/99 2006-07 Ens. univ. Al-Zaytoonah (D2)Aree Teeraparbseree 1/10/01 2005 Bourse Thaïlande (D4)Christophe Chenon 1/10/98 2005 Ingénieur IBM 50% (D6)PostdocsVo Trung Hung 1/12/01 D-info 12/04 1/2 bourse RRAFrancis Brunet-Manquat 1/10/00 D-info 12/04 ATER U3Wang-Ju Tsai 1/10/99 D-info 7/04 SFERE, FT R&DMathieu Mangeot 1/06/04 D-info 9/01 postdoc NII 11/01-4/04, GETA 6/04—

Légende!:

D-inf : doctorat en informatique DE-inf : doctorat d’Etat en informatiqueD-SIP : doctorat Signal-Image-Parole (INPG) DE-ling : doctorat d’Etat en linguistiqueD-ling : doctorat Sciences du Langage (Stendhal) DE-phys : doctorat d’Etat en physique


2/32

1. Domaines de recherche• Traduction automatisée par ordinateur (TAO)

- TAO de l'écrit de qualité, obtenue par plusieurs techniques, éventuellement combinées :spécialisation à un sous-langage, désambiguïsation interactive par l'auteur, traduction humaineassistée pour des parties délicates, adaptation dynamique et mémorisation.

- TAO de parole, pour l'instant limitée à l'interprétation de dialogues oraux finalisés.- Télé-TAO : communication interpersonnelle multilingue écrite ou orale, outils de développement

distribué de systèmes de TAO, outils distribués pour traducteurs occasionnels.

• Bases de données lexicales multilingues et dictionnaires- Architecture générique de BDLM.- Méthodologie et outils pour la récupération et la manipulation de ressources lexicales

électroniques.- Edition structurée de dictionnaires complexes.- Bases lexicales multilingues à acceptions interlingues.- Outils pour lexicographes et lexicologues pour la création et la maintenance de BDLM.- Outils de diffusion de ressources lexicales, en particulier sur la Toile.

• Logiciels pour la TAO- Langages spécialisés pour la programmation linguistique.- Environnement de développement de linguiciels de TAO.- Méthodologie de construction de logiciels pour le TALN.- Approches de la TAO « fondée sur les données » (statistique, par l’exemple).

• Aspects linguistiques fondamentaux pour la TAO- Approche UNL pour la TAO et la communication multilingue.- Définition de sous-langages et adaptation dynamique à un sous-langage.- Etude des ambiguïtés et des processus automatiques et interactifs de désambiguïsation.- Prise en compte des différents types de contexte en traduction de parole.- Grammaires « statiques » de correspondances structurales pour la spécification de composants de

TAO.- Représentations « multiniveau » et structures factorisant les ambiguïtés.

• Informatique multilingue (codages et transcriptions de documents et programmesmultilingues)

• Interaction personne-système- Désambiguïsation interactive en langue source et en langue cible.- Coédition entre texte et graphe UNL.- Présentation de documents « autoexplicatifs ».

2. Aspects scientifiques

ProblématiqueLe GETA (Groupe d'Étude pour la Traduction Automatique) est une équipe

pluridisciplinaire formée d’informaticiens et de linguistes-informaticiens. Les thèmes derecherche du GETA concernent tous les aspects théoriques, méthodologiques et pratiquesde la TAO (Traduction Automatisée par Ordinateur), et plus généralement del'informatique multilingue.

Du point de vue des orientations scientifiques, la TAO du réviseur reste active, maisnous avons réorienté notre recherche, depuis 1988, vers la TAO individuelle, qui comportedeux volets, la TAO du traducteur et la TAO du rédacteur.

(a) La TAO du traducteur consiste à offrir des outils de bureautique linguistique àdes traducteurs (professionnels ou occasionnels). C’est l’homme qui traduit. Dans ce


3/32

domaine, nous travaillons en coopération avec d’autres groupes de recherche, quiapportent des données ou outils linguistiques (lexiques, lemmatiseurs), et nous nousintéressons aux problèmes informatiques liés à l’intégration de ces éléments sous uneforme utilisable par des traducteurs occasionnels, désireux de les employer depuis leursapplications favorites.

(b) La TAO du rédacteur est l’objectif principal des travaux en cours sur l'écrit. L’idéede base est d’offrir à un rédacteur unilingue la possibilité de rédiger dans sa langue, et,au prix d'un dialogue de standardisation et de désambiguïsation le moins lourd et leplus convivial possible, d’être traduit dans plusieurs langues, sans révision ou avec unerévision minimale. Il s'agit donc de TAO fondée sur le dialogue (TAFD, ou DBMT, pourDialogue-Based Machine Translation) et de préédition indirecte, mais c'est bien la machine qui traduit.

Les recherches sur ces différents types de TAO s’articulent autour de thèmes àdominante en informatique, en linguistique, et en interaction personne-système. On peutciter les études portant sur les techniques de désambiguïsation interactive, sur les baseslexicales multilingues par acceptions, sur l’intégration de possibilités d’apprentissageassisté par ordinateur (AAO), pour la découverte individuelle de connaissanceslinguistiques, et sur l’utilisation de techniques modernes de génie logiciel pour(re)construire des outils informatiques (langages et environnements spécialisés pourlinguistes et lexicographes) adaptés à la TAO individuelle du futur.

Ces thèmes posent des problèmes scientifiques difficiles. En désambiguïsationinteractive, il faudrait arriver à précalculer le plus possible les ambiguïtés générées parun analyseur d'une certaine classe, par des heuristiques puisque le problème estindécidable. Il faudrait aussi trouver une représentation factorisée de toutes lesstructures produites, sans doute alignée temporellement, et surtout permettant unemanipulation directe globale, en s'inspirant par exemple de ce que fait IBM-Japon surdes structures de dépendance.

En ce qui concerne les bases lexicales multilingues par acceptions, (liens interlinguesentre lexies), bien des problèmes ont été résolus depuis 2000, dans le cadre du projetinternational Papillon, et dans la thèse de M.!Mangeot (28/9/01). Il reste cependant desdifficultés de fond. On ne sait pas comment «!carrosser!» les outils de récupérationdicionnairique issus de la thèse de Hai Doan pour les mettre entre les mains decontributeurs non-informaticiens désireux de mettre leurs données lexicales sur la plate-forme Papillon, ce qui suppose de les mettre dans un format XML, puis de les donner àun spécialiste qui les met en correspondance avec le format d'import et de présentationde Papillon (CDM, pour Common Dictionary Markup). D'autre part, malgré les travauxde M.!Lafourcade sur les vecteurs conceptuels, et la création de la plate-forme Jéminiepar A.!Teeraparbseree dans sa thèse (28/9/05), on n’a pas encore réussi à créerautomatiquement à partir de dictionnaires monolingues et bilingues (ou multicible) ainsique de lexiques multilingues une organisation en lexies et axies (acceptions et liens entreacceptions) d’une qualité suffisante pour que le travail humain subséquent soit réduit defaçon significative.

En ce qui concerne le génie logiciel pour le génie linguiciel, les problèmes théoriques defond (décidabilité, complexité) ont reçu des solutions satisfaisantes. Il y a plusieurssolutions pour «!hybrider!» ces systèmes basés sur des règles symboliques, de façon àpermettre l'apprentissage ou le réglage (de poids, de probabilités, etc.) à partir de corpusd'exemples. À l'autre bout du spectre, on trouve des problèmes purement informatiques,comme celui d'intégrer la technologie XML dans la nouvelle version du logiciel Ariane, etcelui de transformer ce genre de système en serveur tournant en permanence et capablede modifier ses données linguistiques dynamiquement, par interaction avec des serveurslexicaux et/ou avec un utilisateur linguiste.

Thèmes de rechercheLes thèmes d'étude du GETA sont tous liés à la TAO. Ils touchent à l'informatique, à

la linguistique et à l’interaction personne-système.


4/32

• thèmes à dominante «!informatique!»!:

- architecture distribuée de systèmes distribués de TAO (projet et consortium UNL)!;

- conception et réalisation d’une plate-forme informatique pour les Bases de DonnéesLexicales Multilingues hétérogènes (Papillon-CDM)!;

- plate-forme et outils pour des bases de données lexicales multilingues riches, enarchitecture NADIA!: volumes monolingues DiCo (microstructure du DEC(Dictionnaire Explicatif et Combinatoire) simplifiée pour les lexicographes) reliéspar un «!pivot!» central (Papillon-NADIA)!;

- langages et environnements spécialisés pour la TAO, classiques et aussi adaptésaux entrées bruitées et aux approches interactives (projet Ariane-Y)!;

- multilinguïsation du logiciel et encodage de textes multilingues pour la TAO!;

- représentation et calcul de correspondances sous-phrastiques à partir de grandesmémoires de traduction, et traduction automatique «!par l’exemple!».

• thèmes à dominante «!linguistique!»!:

- formalismes déclaratifs de spécification grammaticale («!grammaires statiques!») etreprésentations des énoncés (m-structures, f-structures typées, hypergraphesUNL…)!;

- conception linguistique et construction de bases de données lexicales multilingues!;

- collecte et étude de corpus de grande taille (tchat, dialogues bilingues multimodauxfinalisés interprétés)!;

- conception et réalisation d’analyseurs robustes!;

• thèmes à dominante «!interaction personne-système!»!:

- organisation de dialogues de standardisation et de désambiguïsation!;

- intégration du multimédia, et en particulier de techniques de désambiguïsationinteractive multimodale en TAO du rédacteur, et de présentation de «!documentsauto-explicatifs!»!;

- aspects d'apprentissage assisté par ordinateur de systèmes de TA fondés sur desconnaissances linguistiques complexes aussi bien que de systèmes uniquementfondés sur des exemples.

Recherches et projets par types de TAO et thèmes scientifiques

TAO du rédacteurLe projet LIDIA porte sur l'étude de l’effet de la désambiguïsation interactive sur la

traduction. La première étape du travail expérimental a consisté à spécifier lescaractéristiques de la maquette à réaliser. Cette maquette, présentée pour la premièrefois début 1994 et complétée et remaniée depuis, offre la plupart des fonctionnalités dufutur poste de travail du rédacteur unilingue. Elle a permis d'étudier les problèmeslinguistiques nouveaux, et d'expérimenter une nouvelle architecture logicielle. Il ne s'agitcependant pas encore du prototype d'un logiciel utilisable en pratique qui sera développédans le cadre du projet UNL, décrit plus loin.

Il s'agit de traduction du français vers le russe, l'allemand et l'anglais. On ne part pasd'un texte, mais d'un hypertexte. L'intérêt est que de plus en plus de documentationstechniques multilingues sont réalisées en hypertexte, que les fragments de texte(boutons, champs) y sont souvent petits et bien typés, que les possibilités d'utilisation deplusieurs modalités dans le dialogue sont intéressantes, et que l'interactivité inhérente àce type d'outils permet d'espérer que les utilisateurs accepteront plus facilementd'interagir avec le système pour standardiser et clarifier leurs textes.


5/32

La maquette actuelle ne traite qu’un millier de termes au niveau interlingue (bien quecertains dictionnaires monolingues en comportent plus de 30.000), alors qu'un systèmegrand public devrait en comporter quelques centaines de milliers, voire quelques millions(la majorité étant formée de termes composés). De même, sur le plan grammatical, on afortement limité le nombre des «!styles d'énoncés!», et on n’a encore aucun traitement réeldes «!genres de textes!». Cependant, on prend en compte la richesse lexicale des termespar rapport à toute la langue, sans la réduire aux acceptions attestées dans la pile detest, pour éviter que des simplifications abusives ne conduisent à des solutionssimplistes et erronées.

a. Avancées en informatique

Nous avons opté pour une architecture distribuée, comportant d’une part des stationsde rédaction (micros grand public), sur lesquelles on effectue les opérations linguistiqueslégères, et d’autre part un serveur de TAO sur station de travail, réalisant de façonasynchrone les phases linguistiques lourdes au moyen de linguiciels écrits en Ariane-G5,et accédés de façon transparente en arrière-plan. La partie «!serveur!» a été étudiée etréalisée par P.!Guillaume et le «!moniteur!» d’Ariane-G5 a été adapté par M.!Quézel-Ambrunaz. Sur le «!client!», H.!Blanchon a implémenté une stratégie complète dedésambiguïsation interactive.

b. Avancées en lexicographie computationnelle utilisables en TAO

En ce qui concerne l'organisation lexicale, les études menées en 88-90 avaient faitressortir la nécessité d’étendre l’organisation à deux niveaux (lemme et unité lexicale)utilisée avec succès dans les systèmes de TAO du réviseur, en introduisant un troisièmeniveau, celui des acceptions («!word senses!»), définies par rapport à une famille delangues. Cependant, le projet de bases lexicales multilingues centrées sur des acceptionsinterlingues défini par G.!Sérasset (architecture NADIA, reprise dans le projet Papillon)veut aller plus loin, tant sur le niveau de la généricité (possibilité de définir desstructures très variées de bases lexicales) que sur celui de la richesse des relations lexico-sémantiques exprimables, et des calculs associés (mise en œuvre de règles de cohérence,d’intégrité, de défauts…). L’étude théorique a porté sur la formalisation de telles basesau moyen des y-termes (structures de traits typés) introduits par Aït-Kaci, et sur lesrelations à considérer.

Sur le plan théorique, les grammaires et les lexiques d’un système de TAO durédacteur doivent être organisés très différemment de ce qui est fait en TAO du réviseur.Ici, le texte est négociable, et les linguistes doivent trouver une voie intermédiaire entrecelle du texte libre et celle du texte contrôlé. C'est ce que nous avons appelé la voie du«!langage guidé!». Sur le plan grammatical, nous distinguons entre «!styles d'énoncé!»(comme «!phrase infinitive à valeur impérative!», ou «!titre!») et «!genres de texte!» (comme«!liste d’instructions!»).

Sur le plan lexical, nous n'utilisons qu'une seule base multilingue, la plus couvrantepossible, en y associant des préférences sous forme de poids sur les lemmes, lesacceptions, et leurs relations mutuelles. La notion globale de «!type de document!»(comme «!manuel technique!», «!présentation animée!», «!cours!», «!jeu!», etc.) peut alorsêtre utilisée pour résumer un ensemble de préférences grammaticales et lexicales. Lavoie du «!langage guidé!» consiste donc à définir non un unique langage contrôlé, maisune collection de tels langages.

c. UNL

Fondé à l'IAS (Institute of Advanced Studies) de l'UNU (Université des Nations Unies)à Tokyo en avril 1996, le projet UNL rassemble des partenaires du monde entier, avecplus de 14 langues abordées, dont 6 activement (anglais, chinois, espagnol, français,italien, japonais, portugais, russe). Ce projet a défini un format d'échange (le langageUNL) codant la sémantique d'un document de manière suffisamment précise pourpermettre sa «!déconversion!» dans la langue maternelle du lecteur. Un énoncé estreprésenté par un hypergraphe dont les nœuds portent des UW (unités de vocabulaire


6/32

virtuel, ou «!universal words!») et des attributs sémantiques, et les arcs des relationssémantiques (41 au total). Un sous-graphe, ou «!scope!», est défini comme un sous-graphe connexe par arcs (si on neutralise leur orientation) dont les arcs portent un mêmenuméro. Chaque scope comporte un unique nœud d’entrée. En bref, on peut dire qu’unénoncé E en langue L est représenté par un graphe UNL qui est la structure abstraited’un énoncé U en anglais équivalent à E, avec pour lexèmes des UW.

Depuis le 1er janvier 2000, les spécifications du «!langage UNL!» sont ouvertes à toussur le serveur de l'IAS. On peut appeler ce format «!le HTML du contenu linguistique!».

Cette représentation est issue de celle du système ATLAS-II de Fujitsu, reconnucomme le meilleur au Japon depuis plus de 20 ans, et comportant 1,5!M d’entrées dedictionnaires dans chaque langue, ce qui prouve le potentiel d'UNL pour obtenir destraductions de qualité, soit par spécialisation à un sous-langage, soit par interactionavec l'utilisateur, que ce soit en langue cible (désambiguïsation interactive comme enLIDIA) ou en toute langue cible (comme en génération multilingue de type MultiMETEO).

Conformément aux perpectives de 2000, nous avons développé un site web completpour UNL-FR (site construit en Enhydra par G.!Sérasset). Il y a environ 40000 lemmesfrançais reliés à des UW UNL, et E.!Blanc a réalisé à partir d’analyseurs et générateursdéveloppés précédemment un déconvertisseur maintenant assez bon, et unenconvertisseur encore prototype. Bien qu’à la retraite depuis septembre 2003, E.!Blanccontinue ses travaux sur UNL avec enthousiasme et efficacité en tant que chercheurbénévole, et il a également écrit le noyau d’un déconvertisseur du chinois.

En 2003-04, nous avons participé au projet (non financé) FB2004 (Forum Barcelona2004), avec nos partenaires UNL de Madrid (UPM, J.!Cardeñosa), Moscou (IPPI,I.!Boguslavskij) et Pise (ILC, I.!Prodanov), dirigé par l’UPL, et visant à normaliserl’usage d’UNL, et à clarifier et améliorer certains aspects de sa spécification. En 2004,cette activité a continué sur quelques documents de l’Unesco.

En 2005, l’association Champollion a organisé une action analogue, avec lespartenaires russes et espagnols, et traduit les parties textuelles du site B@bel del’Unesco (environ 150 pages de 250 mots, soit 3000 phrases environ), tout en produisantles graphes UNL correspondants, avec mesure du temps passé, et en comparant lestemps de production d’une bonne traduction à partir de l’original anglais seul, d’unetraduction automatique classique, et d’une déconversion à partir d’UNL).

En 2005 aussi, nous avons participé avec les partenaires précédents, ainsi que ceux del’Inde, de Thaïlande, du Portugal, du Brésil, et de Chine, au montage d’un ConsortiumUNL, au fonctionnement copié sur celui du W3C, destiné à mettre route un processusnormal de progression technique du projet, sachant que le «!centre UNL!» et la«!fondation UNDL!» se sont limités depuis plusieurs années à des actions politiques,sans trouver le financement nécessaire.

d. Avancées en interaction personne-système

Dans ce type de système, l'organisation et l'ergonomie du dialogue avec le rédacteur aune grande importance. Il faudrait pouvoir déterminer l'ordre des questions posées enfonction de critères linguistiques et/ou ergonomiques, et permettre de quitter un dialogueavant la fin, laissant le système continuer la traduction en utilisant un traitement pardéfaut. Nous rattachons à la TAO du rédacteur les aspects d'auto-apprentissage assistépar ordinateur de systèmes fondés sur des connaissances linguistiques complexes. Ilnous parait en effet important que les utilisateurs de tels systèmes, auxquels ondemandera finalement de répondre à de nombreuses questions (au moins autant quepeut en poser un interprète «!consécutif!» qui ne connaît pas le domaine dont on parle),puissent «!ouvrir!» et «!découvrir!» le système. Il faut au moins que le système puisse direpourquoi il pose une question, et présenter sa base lexicale sous une formecompréhensible. On peut aussi songer à l’enrichir de fonctions spécialement conçues pourfaciliter l’auto-apprentissage. Ce thème a été abordé avec un projet autonome d'auto-apprentissage des caractères chinois (G.!Fafiotte & F.!Tchéou).


7/32

Avec le travail de M2R de Ali Choumane (2005), mené en coopération avec l’INRIA, il aaussi été possible de progresser vers la production de «!documents contenant leur sens »,ou plus précisément de «!documents auto-explicatifs!» (DAE). Un visualiseur de DAE aété réalisé en Amaya. Il permet de voir un document (html 4.0) normalement, et surdemande de voir les parties ambiguës mises en relief (par une couleur, un soulignement,une mise en italiques…, au choix de l’utilisateur). On peut alors voir la source del’ambiguïté et la façon dont elle a été résolue du côté «!auteur!».

Une dernière piste, potentiellement très féconde, est l’idée de «!coédition!» d’un texte etdu graphe UNL correspondant, étudiée dans la thèse de Tsai W.!J. (8/7/04). L’idée estd’utiliser des ressources souvent disponibles gratuitement (dictionnaires anglais-langueL et analyseur morphologique de L) pour établir une correspondance fine entre un énoncéen langue L et le graphe UNL correspondant. On peut alors annoter le texte, chaqueannotation entraînant une modification du graphe. Par exemple, on annote «!le chevalcourait!» par «!le/UN cheval/PLURIEL courait!». Après une nouvelle déconversion, onobtiendra «!des chevaux couraient!», sans avoir dû transformer la chaîne. De plus, lesdéconversions vers d’autres langues entraîneront les modificatoins correspondantes. Pourla première fois dans l’histoire de la traduction, cette fusion entre des techniques de TAOet de génération multilingue permettra de «!partager la révision!», de même que ladésambiguïsation interactive en source permet de «!partager la préédition!».

TAO du traducteurNous nous sommes d'abord intéressés, dans le cadre d'une coopération avec l'USM de

Penang, aux outils pour traducteurs occasionnels, qui doivent être très ouverts etgénériques, alors que les outils pour professionnels peuvent être (et sont souvent) ferméset spécifiques. Depuis 1995, nous nous intéressons aussi aux mémoires de traduction,caractéristiques des systèmes pour professionnels.


Un première avancée concerne le compactage de gros dictionnaires de formes pour lescorrecteurs orthographiques multilingues. Pour construire les dictionnaires de formes deslangues traitées, on utilise des corpus et des générateurs existants. Ces dictionnairespeuvent être ensuite complétés et corrigés à la main. Les techniques de compactionfondées sur la minimisation de l’automate d’états finis associé à un ensemble de formessont assez efficaces pour les langues indo-européennes, mais restent insuffisantes pourdes langues comme le turc, le finnois, le hongrois, ou l’arabe. Dans sa thèse (1996),B.!Meddeb Hamrouni a introduit un procédé efficace de compression «!logique!», la«!compression paradigmatique!».

Le travail de thèse puis de post-doctorat de E.!Planas (1998-2000) a fait produit unedeuxième avancée très significative dans ce domaine, en introduisant les mémoires detraduction «!à étages!» (structures TELA), puis en montrant expérimentalement qu'ellesaméliorent le rappel et la précision d'exemples utilisables, et enfin en montrant commentobtenir des propositions de traductions complètes en exigeant simplement que, à uncertain «!étage!», l'exemple trouvé soit une sous-séquence (non nécessairement connexe)du segment à traduire. Les étages d'une mémoire TELA contiennent par exemple lareprésentation initiale XML, les lemmes, les balises, et les classes morphosyntaxiques.Cette recherche a mené à la création de la société Lingua & Machina en 2001, et à lasortie en 2004 du produit SIMILIS.

Une troisième avancée est due à Ch.!Chenon, responsable des outils pour lafrancisation chez IMB-France, qui a travaillé durant sa thèse (28/10/05) sur lesproblèmes liés au traitement des mémoires de traduction!: comment extraire de cesmémoires des «!briques traductionnelles!» les rendant nettement plus utilisables,sachant qu’actuellement on ne trouve au maximum que des correspondances approchées(fuzzy matches) au niveau des segments (phrases ou titres) complets!? Il est arrivé àextraire totalement automatiquement une structuration en «!amphigrammes!», couplesd’arbres n-aires exprimant des correspondances sous-phrastiques imbriquées, et à en


8/32

donner une visualisation dynamique utilisable sur le web, permettant d’aider lestraducteurs aussi bien que les apprenants.

Ce travail a été accompagné par celui de F.!Cromières, qui a montré dans son M2R(2005) la possibilité de traiter des systèmes d’écriture sans séparateurs de mots, etcommence une thèse dans cette direction, ainsi que vers l’apprentissage automatiquenon supervisé de systèmes hybrides (symboliques et numériques, i.e. statistiques et/ouanalogiques).

b. Avancées en lexicographie computationnelle

Disposer d'un dictionnaire bilingue en ligne d'au moins 30.000 entrées, et si possiblebeaucoup plus, est aujourd'hui essentiel pour un traducteur. Or il n'en existepratiquement pas entre le français et beaucoup de langues!! Donc, avant de se poser laquestion de la récupération de données lexicales, il faut se poser la question de les créer.

De 1993 à 1996, nous avons travaillé à partir du dictionnaire français-malais trèsfruste que nous avions produit par «!croisement!» d’un dictionnaire français-anglais etd’un dictionnaire anglais-malais pour présenter un premier prototype de «!poste detraducteur français-malais!». Dans le cadre d’une action du MAE, et en collaboration avecl’attaché linguistique de l’Ambassade, le DBP (Bureau de la Langue et de la Culture), etl’USM (Penang), nous avons totalement refondu ce dictionnaire FEV, qui se présentait aumoment du lancement officiel début juillet 1996 comme un volume de 600 pages enfrançais-malais, contenant 20000 entrées, 50000 acceptions, 8000 tournures, et 12000exemples d’usage. Il a été produit et vendu à 5000 exemplaires par le DBP sansl’anglais (Khamus Perancis Melayu). Un lexique terminologique français-anglais-malaisen informatique avait aussi été réalisé. Les deux avaient été distribuée à 200exemplaires sur disquettes, en version Mac et PC. Une version corrigée et étendue duFEM a été produite sur CD-ROM en août 1998. Elle fut mise sur le serveur SILFIDE del'AUF/CNRS (http://silfide.imag.fr), et la version actuelle est sur le site Papillon(http://www.papillon-dictionary.org). En mai 2003, une nouvelle version a été présentéeofficiellement à l’Ambassade et au DBP. Elle a été réalisée en coopération avecL.!Metzger de la MMM (Maison du Monde Malais, la Rochelle), qui a revu toute la partiemalaise avec un étudiant de l’INaLCO, Shariman, et avec M. et Mme Lafourcade(LIRMM, Montpellier), qui ont géré la base de données et complété la partie anglaise. Lerésultat est une application multiplate-forme (conçue et réalisée en Java par G.!Sérasset)contenant les données du FEM, et permettant de le consulter avec de très nombreusesoptions de filtrage et d’accès.

En 1999, nous avons entamé en coopération avec l’IUT de Da Nang (Phan H.!K., Vo-Trung!H.) un projet similaire sur le vietnamien, le dictionnaire FEV, grâce à une ARP duréseau Francil de l'AUF. Ce travail a été mené à bien fin 2002, et diverses applicationsde consultation (autonomes en ligne et hors ligne, et intégrées à d’autres logiciels) ont étéréalisées.

Enfin, l’activité la plus significative de cette période a été le projet Papillon de baseslexicales multilingues, lancé en juillet 2000 à Tokyo à l’initiative de E.!Planas (GETA,alors à NTT), M.!Tomokiyo (GETA), et F.!Brown de Colstoun (alors attaché scientifique àTokyo). G.!Sérasset a dirigé le projet depuis le départ, et c’est lui qui, avec l’aide deM.!Mangeot, qui a effectué une partie de sa thèse et son postdoc de 2 ans au NII (Tokyo)sur le sujet, a conçu et réalisé la «!plate-forme Papillon!» (http://www.Papillon-dictionary.org).

À l’heure actuelle, la partie Papillon-CDM contient une quinzaine de dictionnairesbilingues ou multicible concernant 9 langues (allemand, anglais, chinois, estonien,français, japonais, malais, thai, vietnamien), et représentant plus d’un million d’entrées,présentées sous une interface unique, elle-même multilingue.

La partie Papillon-NADIA consiste en une base de données lexicales symétrique, dontla macrostructure est constituée d’un ensemble de «!volumes!» monolingues dont lesentrées sont des lexies (sens de mots), et d’un volume d’axies (liens) interlingues reliéesaux lexies «!traductionnellement équivalentes!». La microstructure des volume


9/32

monolingues est dérivée du format DiCo de Mel’tchuk et Polguère. Les axies peuvent êtrereliées à autant de systèmes de description sémantiques qu’on veut (WordNet, HowNet,Goei Taikai, UNL-KB…). Le logiciel existe, mais il y a encore peu de données. Uneapplication prochaine de la plate-forme Jéminie réalisée dans sa thèse par AreeTeraparbseree (28/9/05) sera d’initialiser cette base à partir de Papillon-CDM, enutilisant divers algorithmes de «!vecteurs conceptuels!» mis au point par M.!Lafourcadeau LIRMM.

Il faut certainement insister sur le fait que remplir une telle base est une activité derecherche «!pure!». Il s’agit littéralement de «!découvrir!» des phénomènes linguistiquesjusqu’ici jamais décrits en extension, et de les décrire selon la lexicographie explicative etcombinatoire, théorie mise au moint par I.!Mel’tchuk sur quelques dizaines de langues.Pour chaque lexie (acception), on vise à décrire, outre son «!régime!» syntaxo-sémantique,ses collocations systématiques (valeurs des fonctions lexico-sémantiques) et d’usage.C’est un peu comme de recenser les exoplanètes en astronomie, mais ici il y a une utilitépratique certaine, car la plupart des applications de TALN, au premier rang desquellesla TAO, pourraient obtenir de bien meilleurs résultats en utilisant ces informations.

Le projet Papillon a apporté certaines innovations de nature informatique. Il s’agit del’architecture de sites web pour la construction collaborative de grandes bases dedonnées lexicales multilingues à informations riches, avec le passage de l’architecturemonoposte en Object common Lisp de G.!Sérasset (SUBLIM) à une architecture web«!trois tiers!» fondée sur XML, Java et Enhydra.

TAO du réviseur

Avancées en informatique : vers une nouvelle version d'ARIANE

Développé depuis de nombreuses années, ARIANE-G5 représente un capital logicielconsidérable, et tout à fait en pointe au plan scientifique, dans le domaine de latraduction assistée par ordinateur. Il s’agit d’un environnement de développement etd’utilisation de systèmes de TAO, contenant les compilateurs et les «!moteurs!» de 5LSPL (Langages Spécialisés pour la Programmation Linguistique), un gestionnaireinteractif des composants linguiciels (dictionnaires, grammaires, formats, attributs…),des corpus d’essai et de travail (textes, résultats intermédiaires, traductions,révisions…).

Pour des raisons historiques, puis de moyens, ce logiciel ne tourne actuellement que surdes machines IBM d’architecture 390 (actuellement un 9221-130), sous VM/ESA/CMS,même s'il est accessible par le réseau. Il est actuellement difficile de faire bénéficier deces acquis scientifiques d’autres groupes et projets, ainsi que le secteur industriel, dansla mesure où le logiciel n’est pas disponible sur les plates-formes usuelles et n’est doncpas intégrable directement avec d’autres logiciels aux fonctionnalités complémentaires(comme par exemple la reconnaissance de la parole, les moteurs de recherched’information etc.). Certes, il est accessible par des protocoles SMTP, HTTP, et via dessockets TELNET, et il existe deux environnements permettant de le gérer à distance(CASH deE.!Blanc sur Mac, très complet, et WICALE de V.!Carpena, très portable maisencore incomplet malgré les ajouts du M2R de Nguyen H.!T.). Mais la structure totale esttrop compliquée, et on ne peut pas en dériver, tel quel, une application sur PC ou PDA.C’est ce qu’on vise dans le projet Ariane-Y.

Le logiciel de base complet représente environ 500.000 lignes sources en diverslangages (ASM370, PL360, Pascal, PL/I, EXEC2), et 30.000 messages par langue dedialogue (anglais et français actuellement). Un linguiciel écrit en Ariane-G5 pour uncouple de langues comporte typiquement 500 à 1.000 pages de grammaires (écrites dansles LSPL ATEF, ROBRA et SYGMOR) et 4.000 pages source pour 20.000 entréeslexicales (on vise 100.000 pour le projet UNL), en comptant une dizaine de lignes parentrée, dans divers dictionnaires (ATEF, TRANSF, SYGMOR).

Dans ce contexte, l'objectif général du projet Ariane-Y est de!:


10/32

• rendre utilisable, dans les usages quotidiens de la communication écrite et parlée, latechnologie de la TAO développée depuis longtemps par le GETA, essentiellement grâce à desfinancements publics, dans ses variantes de traduction automatique et de traductionautomatisée (avec désambiguïsation interactive après l'analyse).

• développer de multiples applications : recherche d’information multilingue sur le Web, miseen place de services d’aide à la traduction sur le réseau, communication orale ou écritemultilingue.

Du point de vue technique, nous réalisons une «!réingéniérie améliorante!» d'Ariane-G5!:

• portage du logiciel ARIANE-G5 sur une ou plusieurs plates-formes logicielles et matériellesconformes aux standards actuels, tout en levant les limites d'implémentation actuelles (nombrede variables, taille des dictionnaires…)

• unification de tous les composants (compilateurs de composants analogues de langagesspécialisés différents) ainsi que de toutes les interfaces.

• introduction de quelques nouveautés essentielles, en particulier au niveau des dictionnaires,qui pourront évoluer au cours de l'utilisation par édition ou par échange avec des serveurslexicaux.

A ce jour l'architecture logicielle a été spécifiée, et la programmation est en cours. C'estun projet de longue haleine, au moins 6 à 8 hommes-années pour le «!cœur!» du système.J.!C.!Durand a réalisé environ 40% du travail prévu. Depuis le départ à la retraite deP.!Guillaume (8/04), Ch.!Boitet l’épaule pour la conception, et J.!Ph. Guilbaud pour lestests. Ch.!Boitet a prévu d’abandonner en 2006 la direction du GETA, qu’il assumedepuis 1985 (URA puis équipe CLIPS), ainsi que la moitié de son encadrement de thèse,pour pouvoir contribuer à la réalisation de ce projet.

Le projet Ariane-Y a introduit une idée totalement nouvelle en ingénierie des EDL(environnements de développement linguiciel), qui consiste à compiler vers une structureabstraite décrite en XML, et à travailler en mémoire sur une représentation quasi-directede cette structure, enrichie de structures annexes utiles à l’exécution, avec la possibilitéde modifier dynamiquement des incréments linguiciels assez petits (articles dedictionnaires, modèles, règles de grammaire, transitions d’automates), et d’avoir à toutinstant une forme externe correspondante, commentaires compris.

Par ailleurs nous avons commencé à définir de nouveaux langages spécialisés pourpermettre de mieux traiter des entrées bruitées (lecture optique, reconnaissance deparole), et d’introduire des techniques de pondération et de factorisation des solutionsmultiples, fort utiles dans de futurs analyseurs vraiment adaptés à la TAO durédacteur. De nouvelles structures de données sont alors nécessaires pour lareprésentation des textes ou énoncés analysés (treillis pondérés d’arbres ou de forêtsdécorées). La thèse de J.!Quint (18/11/02), menée en coopération avec Xerox, s'inscritdans cet axe.

TAO de paroleCe domaine a été lancé au Japon par ATR en 1986, puis les Américains ont suivi à

CMU en 1989 et en créant peu après le premier consortium international C-STAR(Consortium for Speech Translation Advanced Research). Les Allemands ont lancé leurprojet national VerbMobil en 1992 et ont rejoint le deuxième C-STAR II en 1993. Enfinles français ont à leur tour rejoint ce consortium en 1996. La troisième phase du projetC-STAR a débuté en 2000.

La TAO de parole «!spontanée!» multilocuteur totalement automatique ne fonctionnebien à l'heure actuelle que pour des domaines limités et des dialogues finalisés, même sion a récemment (10/05) pu voir de premières démos de «!TA de conférence!» par le projetTC-STAR. Le scénario type concerne la préparation de la partie touristique d'un voyage.Un client parle en téléconférence à trois agents de voyage de trois autres pays, pourorganiser son séjour hôtelier et quelques visites. Chaque site réalise la reconnaissance deparole, l'analyse de l'hypothèse ou du treillis d'hypothèses produit, et la traduction versune structure interface «!IF!» et/ou une ou plusieurs langues, sous forme textuelle. Ilreçoit des interlocuteurs distants des structures IF, de simples textes, ou des


11/32

transcriptions plus riches, et en assure la génération (cas de l'IF) et la synthèse vocale.L'interaction possible ici est minimale (choix entre plusieurs hypothèses présentées sousforme orthographique), mais suffisante car il s'agit de communication entre humains,intelligents et désireux de coopérer à la réalisation d'un but connu. Le projet IMAG C-STAR, dirigé par H.!Blanchon, a été une action fédérative du laboratoire entre leséquipes GETA et GEOD. Il a été mené en parallèle avec le projet européen Nespole!!(2000-2002).

En parallèle à CSTAR et Nespole, le GETA a mené plusieurs projets!:• ERIM (1999-2002), projet « Emergence » de la la région Rhône-Alpes, a construit un logiciel

d'aide à l'interprétariat humain sur réseau (G. Fafiotte, F. Tchéou) ;

• ChinFaDial (2000-2003), projet soutenu par le LIAMA (laboratoire franco-chinois INRIA-CAS), en coopération avec le Pr Xu Bo (NLPR/CAS), a collecté grâce à ERIM des dialoguesfrançais-chinois oraux puis multimodaux traduits par des interprètes humains amateurs(environ 12h) ;

• VTHFraDial (2003-2005), presque fini, et également dirigé par G. Fafiotte, collecte desdialogues entre français et vietnamien (IUT de Da Nang), hindi (ITB, Bombay) et tamoul(Pondichéry).


Nous avons jusqu'ici travaillé essentiellement sur les problèmes d'intégration decomposants hétérogènes tournant sur des machines différentes. L'architecture de«!tableau blanc!» s'est révélée assez simple et robuste pour monter les premièresdémonstrations, en mai 1997 à Trente et en janvier 1998 à Grenoble. Un pointimportant de cet effort d'intégration est aussi de construire des formats d'interface entrereconnaissance et analyse plus riches que les transcriptions orthographiques minimalesproduites par les systèmes du commerce.

De premiers essais ont été mené, dans le cadre du projet Nespole!! et d’un DEAcommun entre le GETA et GEOD, pour faire produire directement des fragments d’IF parle reconnaisseur de parole. Malheureusement, nous n’avons plus de projet financé sur laTA de parole depuis 2003, et n’avons pas pu lancer de thèse sur le sujet.

Enfin, nous avons commencé à investir sérieusement le domaine en pleine expansion del’évaluation des systèmes de TA!: évaluations dans Nespole!, et participation à lacampagne IWSLT-04 (évaluation de Systran CE et JE). Le gros mémoire de HDR deH.!Blanchon (20/12/04) fait excellemment le point actuel sur la question.

b. Avancées en linguistique

Il s'est d’abord agi de construire un analyseur d'un type nouveau pour nous, devant nonpas construire une structure complète de l'énoncé à traiter, puis le traduire, maisl'analyser directement en fonction du modèle de la tâche reflété par l'IF. En effet, lecaractère spontané des énoncés et les imperfections de la reconnaissance font que l'entréen'est que très rarement un texte «!correct!».

Dans le cadre de CSTAR-I, J. Ph. Guilbaud avait réalisé un analyseur et un générateuren Ariane-G5. Pour CSTAR-II et Nespole!!, H.!Blanchon a réalisé un analyseur FR-IF etun générateur IF-FR programmés par recherche d’expressions régulières et transductionsattachées. En parallèle, J.!Ph.!Guilbaud, S.!Chappuy et Ch.!Mazenot ont cherché àproduire automatiquement un déconvertisseur Ariane-G5 à partir des spécifications del’IF, disponibles sous forme d’expressions régulières. Malheureusement, l’IF, définie parCMU et l’IRST, était trop contrainte pour pouvoir décire la «!tâche!» de renseignements etréservations touristiques, et a du coup changé beaucoup trop souvent (jusqu’à 26 fois en2 mois!!), sans arriver à une réelle stabilité.

Un troisième thème de travail, non implémenté jusqu’à présent, a concerné letraitement de la cohérence entre les énoncés. Il s'agit de trouver comment mémoriser uncertain nombre d'informations utiles et les utiliser dans l'analyse ou la génération. Ainsi,il faut transmettre à l'analyseur et au générateur la liste des «!centres!» (motsimportants précédemment prononcés et candidats à des anaphores ou des ellipses), les


12/32

caractéristiques des locuteurs (nom, sexe…), le type d'acte de parole attendu, et le ou lessous-scénarios attendus.

Un quatrième thème a été abordé dans le cadre d’un PRA avec le NLPR (CASIA,Pékin, Zong Q.!C.)!: est-il possible d’utiliser un «!pivot linguistico-sémantique!» commeUNL, moins restreint à une tâche qu’un pivot «!sémantico-pragmatique!» de type IF!?Dans le cadre de ce PRA, une thèse en cotutelle (Cao W.!J.) a également commencé, surle problème de l’intégration d’informations pragmatiques à la génération, pour obtenirdes sorties (vocales) traduites plus «!naturelles!». Les travaux et conseils le l’ICP(V.!Aubergé) et d’ATR (N.!Campbell) sont très utiles pour bien envisager ce problème.

c. Avancées en interaction personne-système

Pour ce genre d'application, il est crucial d'accumuler des données réalistes, etd'expérimenter diverses organisations concrètes des communications, pour aboutir à dessystèmes utilisables. G.!Fafiotte et J.S.!Zhai (stagiaire chinois) ont travaillé encoopération avec la plate-forme Multicom à la réalisation d'un «!simulateur C*!», ancêtrede l’actuel ERIM. La version actuelle d’ERIM, essentiellement réalisée des stagiairesIUT, M2R et M2P, n’est plus de type «!magicien d'Oz!», mais fait intervenir le traducteurhumain en tant que tel. Les dialogues collectés par les projets ChinFaDial etVTHFraDial seront très bientôt disponibles gratuitement sur la web, ainsi qu’un outil de«!rejeu!» de tout ou partie des dialogues (par interlocuteur, par langue, en totalité…).

Notons aussi la création par M.!Seligman, associé au GETA-CLIPS, de la sociétéSpoken Translation Inc., qui a pour but de mettre en œuvre de la «!TA de parole pourtous!» en intégrant des outils du marché dans une architecture permettant ladésambiguïsation et le contrôle interactif. Un produit d’anglais-espagnol pour lespersonnels de santé dans les hôpitaux et cabinets médicaux aux USA est en cours decommercialisation, un autre est en bêta-test pour l’anglais-japonais. Tout le problèmeest ici d’introduire «!juste ce qu’il faut!» de contrôle et d’interaction!: possibilité de corrigerle résultat de la reconnaissance, de réagir à la «!rétrotraduction, et de choisir entreplusieurs sens pour les mots signalés comme ambigus.

Informatique multilingue et applications autres que la traductionNous avons également travaillé sur l’informatique multilingue, avec la spécification du

modèle d’automates de messages (automates finis contrôlés) par Ch.!Boitet, pourl’écriture de messages avec variables et variantes, et la réalisation par Vo-Trung Hungdans sa thèse (22/12/04) d’une première version de l’outil correspondant, GETAMSG, quise présente comme une librairie fonctionnellement analogue à GETTEXT de GNU,également utilisable depuis la plupart des langages de programmation (technique h2x),mais beaucoup plus générale. Pour cela, on définit des types de variables de message(pas seulement chaîne, entier et réel, mais chaîne, cardinal, ordinal, politesse, titre, âge,heure…). Par exemple, il y a pour les ordinaux 2 «!cas!» en français, et 4 en anglais (-st, -nd, -rd, -th), et on dit en Thai «!1h du soir!» pour «!7h du soir!» en français. Au lieu desélectionner un «!format avec variable!» dans le langage d’implémentation (C, java, perl,etc.), GETAMSG produit un «!format sans variable!», et se charge de toute la partie«!linguistique!», qui se réduit au choix d’un parcours dans un automate de messages enfonction des valeurs des variables locales et globales.

Un autre axe intéressant est celui de l’informatisation des langues peu dotées (langues-"). Dans sa thèse (18/5/04), V.!Berment, à partir du travail considérable qu’il a effectuépour le lao depuis 10 ans (http://www.laosoftware.com), montre qu’ils s’agit d’abord d’unproblème informatique, et l’illustre en réutilisant diverses parties de ses codes pourobtenir très rapidement des outils pour de nouvelles langues d’un même groupe delangues. Ainsi, LaoWord, qui avait demandé 300h de travail, a été adapté en 10h àBanglaWord (30 fois moins de temps pour une audience potentielle 30 fois plus grande!!).De même pour l’adaptation au khmer et au thaï de Sylla, son outil générique desyllabification, d’abord appliqué au lao pour séparer les syllabes (indispensable pour lacésure) et les mots (pour la correction orthographique et l’accès aux dictionnaires).


13/32

Enfin, nous avons travaillé sur la construction rapide d’analyseurs robustes. C’est lethème de J.!Goulian, et la thèse de F.!Brunet-Manquat (21/12/04) va également dans cesens. Là, il s’agit d’obtenir un «!bon!» analyseur de dépendances à partir d’analyseurs(de dépendances et de constituants) disponibles gratuitement, mais fragmentaires, en«!normalisant!» puis «!fusionnant!» les informations élémentaires contenues dans leursrésultats. La plate-forme DepAn permet d’évaluer les analyseurs disponibles, parrapport à chaque type de dépendance, et de produire de «!meilleurs!» analyses.

3. Perspectives

La coopération étroite entre le GETA et GEOD va se transformer en une fusion, lesdeux équipes formant la nouvelle équipe GETALP fin 2006. Les thèmes de rechercheprésentés pour le prochain contrat quadriennal, vraisemblement dans le cadre d’unnouveau laboratoire pour l’instant dénommé (assez ambitieusement) LIG (laboratoired’informatique de Grenoble) sont les suivants!:

• Traitement de la parole et du son, reconnaissance et synthèse de la parole, biométrie

• Modélisation et traitement du dialogue en langue naturelle (humain et homme-machine)

• Traduction automatique et automatisée de documents et de dialogues multimodauxmultilingues

• Intégration entre traitement de la parole et traitement de la langue

• Création et utilisation mutualisées de ressources multilingues et d'outils langagiers.

• Traitement de l'écrit et de l'oral pour les langues-pi (peu dotées)

• Web sémantique : documents autoexplicatifs, annotations sémantico-pragmatiques

• Coopération homme-machine en TALN (désambiguïsation interactive, coédition)

Détaillons maintenant ces thèmes.

Communication interpersonnelle multilingue et multimodale parordinateur

Il s'agit de téléconférence ou de tchat avec combinaison d'oral, d'écrit, avec visionréciproque des interlocuteurs. Dans ces deux situations, on peut envisager que lesinterlocuteurs partagent des documents avec un tableau blanc. On peut aussi envisagerd’utiliser éventuellement les gestes des interlocuteurs lorsqu’ils se parlent et les gesteseffectués sur les documents partagés.

En particulier, en traduction de parole, le principal verrou pour lequel nous souhaitonsfournir de premières clés concerne l’intégration des composants. Nous rappelons en effetque, pour l’instant, les composants d’un système de traduction de parole—!reconnaissance de la parole, analyse de la langue source, génération dans la languecible, et synthèse de la parole!— considèrent les composant avec lesquels ils échangentdes données comme des boîtes noires.

Les systèmes que nous envisageons pourraient, ou non impliquer un médiateurhumain non perçu (comme un magicien d'Oz) ou perçu (comme un assistant «!warmbody!»). Des coopérations industrielles sont envisagées (notamment, avec SpokenTranslation et avec Systran, qui a ajouté de la désambiguïsation interactive à sa version5 en juin 2004).

Communication en langue naturelle avec sens et intentiongarantis, et/ou qualité indiquée

Il s’agit de poursuivre l’effort engagé sur les Documents Auto-Explicatifs (DAE) dans lecadre du projet LIDIA. Les informations collectées lors de l’étape de désambiguïsationinteractive d’un système de TA Fondée sur le Dialogue sont conservées. Ellesréprésentent le sens choisi par l’auteur pour les segments ambigüs. Ces informationssont intégrées dans un document annoté (un Document Auto-Explicatif). Visualisé aumoyen d’un environnement adapté, le DAE peut montrer à son lecteur où il est ambigu etlui fournir le sens à retenir.


14/32

Dans ce cadre, nous sommes très proche du «!web sémantique!» puisqu'il s'agitd'annoter à plusieurs niveaux (lexical, syntaxique, et surtout sémantique etpragmatique) une représentation linéaire de l'information en LN éventuellementmultimodale (par ex. MPEG7 ou graphes d'annotation).

On ne pourra, bien sûr, pas contraindre un auteur à répondre à toutes les questionsque le système pourrait lui poser. À partir du degré de complétion de ladésambiguïsation d’une phrase, et en prenant en compte la «!crucialité pour latraduction!» des ambiguïtés non résolues, il est sans doute possible de calculer un«!niveau de certification du sens!» associé à la traduction, et de le calculer au niveau desparagraphes, des sections, etc., jusqu’au document lui-même.

Passage à l'échelle et extension aux langues-p

Lorsqu’on cherche à accroître le nombre de langues et de domaines couverts pour leslangues peu dotées (langues-p), la taille des ressources nécessaires augmente.Cependant on observe que la spécialisation des développeurs des ressources et desapplications diminue.

Pour obtenir des résultats de reconnaissance de la parole ou de traductionautomatique d’un niveau acceptable, il faut envisager de disposer de 3 à 5 centaines demilliers ou millions de termes par langue, et au moins autant de «!concepts!». On peutrappeler à ce propos que, pour faire de la traduction statistique «!correcte!» avecapprentissage non supervisé, il faut aligner 50!M mots (250.000 pages, 2!M à 10!Mphrases) dans la paire de langue envisagée et dans une typologie homogène.

Pour atteindre cette masse critique de données, il est nécessaire de construire et derelier des dictionnaires, des thésaurus, des ontologies, et de très gros corpus annotés. Ilfaut donc d’abord pouvoir collecter et traiter de très gros corpus «!parallèles!» et de trèsgrands dictionnaires.

Mutualisation des traitements et de la construction de ressources«!langagières!» pour l’écrit et l’oral

Afin de faciliter les synergies entre le traitement de l’écrit et le traitement de l’oral, etafin de dynamiser les projets propres de chacun des deux domaines, il est nécessaired’envisager la construction de bases lexicales multilingues multi-usage. Il faut aussienvisager la construction et l’«!élargissement!» de corpus multilingues alignés pour l’écritet l’oral, effort que nous avons commencé dans le cadre de divers projets (C-STAR,Nespole!, ERIM-Collecte, projet UNESCO-tradUNL).

Il s’agit ici de collecter des données de manière collaborative en fournissant desenvironnements informatiques distribués à des contributeurs volontaires. Ces donnéessont de deux types!: des données dictionnairiques ou des traductions. Les services àproposer concernent la collecte, le traitement, la fusion et filtrage des données en vued’une application donnée. De tels outils sont développés dans le cadre du projet Papillon.

Méthodes d'apprentissage sur des représentations concrètes etabstraites

Le courant dominant actuellement le traitement des langues naturelles fait la partbelle au traitement statistique. Avec un système de traduction statistique, on considèrela traduction comme un problème de décodage. Le modèle de base utilise deux sources deconnaissances statistiques définies par des distributions de probabilités calculablesséparément!:

• un modèle de traduction Pr(s|c) qui nécessite de définir une correspondance entre les mots dela phrase cible c et les mots de la phrase source s.

• un modèle de langage de la langue cible Pr(c) qui définit la bonne formation d’une suite demots en langue cible c.

L’étape de traduction proprement dite est une étape de décodage (de recherche) quicherche à maximiser le produit Pr(c).Pr(s|c) pour l’ensemble des phrases cibles. Soit!:


15/32

Pour aller plus loin, il est nécessaire de travailler au delà de suites non annotées demots. On peut envisager d’apprendre des analyseurs et des modules de traduction surles structures annotées qu’elles soient conrètes (annotations ancrée dans le texte) ouabstraite. De tels travaux sont déjà en cours dans certaines équipes de recherchepionnières, nous pensons que cette voix est très prometteuse.

Traitement de la «!parole naturelle!»Ce volet prospectif concerne quatres verrous!:

• le traitement du signal sonore pour le traitement de la parole : élimination du bruit,identification du locuteur, détection et classification de sons (pour les espaces perceptifs)

• la reconnaissance de parole multilingue : auto-amorçage pour langues-p (vietnamien, khmer,malais) à partir de langues-t (langues très dotées).

• la synthèse de parole naturelle à partir de UNL, ou pivot sémantique IF : annotationspragmatiques (affect, sexe, âge)

• la modélisation et calcul sur le dialogue : pragmatique, interprétation, compréhension aumoyen de la SDRT ou de représentations en logiques non classiques.

4. Les acquis

Les acquis du GETA sont des des réalisations logicielles ou matérielles réutilisablesdans d’autres applications ou projets. Nous ne mentionnons ici que les réalisationsactuellement disponibles.

1. Sur IBM- H30 sous VM/ESA/CMS, accessible par réseau!:• ARIANE-G5 : générateur de systèmes de traduction automatique, très important

environnement sous VM/ESA et accessible par réseau — 400 000 lignes source, 300 000messages de dialogue par langue, 5 langages spécialisés : ATEF, ROBRA,TRANSF/EXPANS, SYGMOR, TRACOMPL,

• Linguiciels de TA écrits en ARIANE-G5- systèmes : russeÆfrançais, françaisÆanglais,- prototypes : allemandÆfrançais, anglaisÆmalais, thaï,- maquettes : anglaisÆchinois, françaisÆchinois, anglaisÆarabe.- déconvertisseur UNLÆfrançais

2. Sur Macintosh!:- CASH, un outil en HyperCard permettant de télédévelopper des linguiciels de TAO sous Ariane-

G5 depuis un Macintosh, avec communication transparente par simple courrier électronique.- un outil générique de reconnaissance de patrons d’ambiguïté et de génération de dialogues de

désambiguïsation, réalisé en CLOS.- un protocole de stockage d’objets CLOS, le DOP (Dictionary Object Protocol).- PARAX, une maquette pentalingue français, allemand, anglais, chinois, russe) en HyperCard.- une méthodologie de construction de lexiques multilingues par des lexicographes « naïfs »,

combinant des feuilles de styles et des macros Word avec des traitements en CLOS.

3. Sur plusieurs plates-formes!:- des outils de diffusion de lexiques et dictionnaires sur support électronique et sur la Toile

(Papillon).- des données lexicales multilingues de grande taille, provenant de projets précédents (russe-français,

français-anglais-malais), du projet UNL (anglais-UW-français), et de récupérations diverses (légales)par H. Doan dans une douzaine de langues (1,5M termes).

- le système PILAF d'analyse et génération morphologiques du français (35000 racines, 250000formes), disponible sur Mac, Windows et Unix, et accessible sur le Web.

- WICALE, un outil en Java offrant un sous-ensemble des fonctionnalités de CASH.


16/32

5. Relations scientifiques

Les relations scientifiques du GETA sont les suivantes!:Niveau Equipe / organisme Type Thème

Autres laboratoiresde l’IMAG

LSR •Relations internes

•Coencadrement

•Spécification de logiciels en langue naturelle

Autres entitésgrenobloises

DESS de Traduction (U3) Séminaires de DESSStagiaires

Prototypage pour les thèses de A. Max(documents normalisés) et Tsai W. J.(coédition texte-UNL)

Filière IDL (U3) Stagiaires Informatique Linguistique

Xerox Bourses CIFRE (J. Quint,M. Mangeot, A. Max),stage M2R (V. Nicoulina)

Lien entre traitement de corpus et constitutionde dictionnaires, normalisatoin de documents,extraction à partir de corpus alignés.

U3 (Stendhal) Mise du dictionnaireHomerica sur SILFIDE

Bases lexicales et textuelles

WinSoft Montage (B. Meddeb) de 2projets de coopération avecla Tunisie (non retenus)

Création de corpus F-A

France ATALA Colloques et journées Réunions scientifiques sur des thèmes divers

AFLA Publications et journées TAO et linguistique, corpus en TAO

CERTAL, INaLCO, Paris Séminaires de DEA TALN, et… CSE

Francophonie AUF Montage de colloques,comité scientifique duréseau FrancIL

• ARP FEV (dico français-vietnamien)

• ARP VTH.FraDial

Université de Montréal Projet Papillon Bases lexicales multilingues

Europe ILC (Pisa), IPPI (Moscou), IRST(Trento), KU (Karlsruhe), UPM(Madrid)

Projets UNL, Nespole! Communication multilingue, traduction deparole

Japon ATR-ITL (Kyoto-Nara) Projets Interprétation de dialogues oraux

NII (Tokyo) Projet Papillon Bases lexicales multilingues

NTT (Kyoto-Nara) Projet Papillon

Postdoc de E. Planas

Bases lexicales multilingues

Mémoires de traduction

UNU (Tokyo) Projet UNL Réalisation de la base lexicale et du« déconvertisseur » pour le français

Chine NLPR (Pékin)

XiaMen univ.

Projet CSTAR-III

Projet ChinFaDial

PRA (non obtenu)

Traduction de parole

Collecte de dialogues bilingues

Coopération effective (Papillon, UNL)

Corée ETRI (Daejon) Projet CSTAR Traduction de parole

Malaisie USM (Penang) Projets et recherche Dictionnaire FeM, langages spécialisés(LSPL), grammaires statiques

Thaïlande NECTEC, Univ. Kasetsart

Univ. Kasetsart,Univ. Chulalongkorn

Projet Papillon

Projet FrancoThai-NLP

Bases lexicales multilingues

Coencadrement de 4-5 doctorants Thaï en2005-09, production de ressources et deprototypes pour le TALN F-T.

USA CMU

Spoken Translation Inc.

Projets Nespole !, CSTAR TA de parole, évaluation de TA.

TA interactive de parole.


17/32

6. Fonctions d’organisation de la recherche• Participation à des comités de programme de colloques (ACL’01, ACL’03, TALN-2001

(Tours), TALN-2002 (Nancy), TALN-2003 (Batz), TALN-2004 (Fès), TALN-2005 (Dourdan),CICLING-01, CICLING-02, CICLING-03, CICLING-04, CICLING-05 (Mexico), Papillon-01 (Grenoble), Papillon-02 (Tokyo), Papillon-03 (Sapporo), Papillon-04 (Genève), COLING-04 (Genève)) et à des comités de sélection d'articles pour des colloques (TALN-01-05,COLING-00-06) et des revues (TAL, Machine Translation, TSI).

• Comité permanent des colloques TALN (Ch. Boitet, D. Genthial).

• CA de l’ATALA (H. Blanchon, Ch. Boitet)

• Divers séminaires et présentations orales, souvent invitées.

• Participation aux réseaux de l’AUF. Ch. Boitet a été membre du bureau du réseau FrancILd’ingénierie linguistique de 1996 à 2001. ARP FEV de l'AUF (réseau LTT) en 1999-2002,ARP VTHFra.Dial (LTT aussi) en 2004-05.

• Séminaires au DEA d'informatique linguistique de l'INALCO (Ch. Boitet & J.-Ph. Guilbaud,environ 9h/an) et au DESS de traduction de l’U3 (J.-Ph. Guilbaud, environ 6h/an).

• Présidence du comité de programme de Papillon-01 (Grenoble) et Papillon-02 (Tokyo) sur lesbases lexicales multilingues (Ch. Boitet)

• Présidence du sous-comité de programme de COLING-2004 sur l’informatique multilingue(Ch. Boitet)

• Présidence du comité de programme de RECITAL-2000 (D. Genthial)

• Présidence du comité de programme de Papillon-04 (Genève) sur les bases lexicalesmultilingues (G. Sérasset)

Nous sommes d’ores et déjà impliqués dans un certain nombre de manifestationsprévues en 2005-06!:

• Organisation des colloques Papillon-2005 à Chiang Rai etPapillon-06 (lieu à fixer).

• Comité de programme de TALN-06 et COLING-06 (Ch. Boitet).

7. Relations industriellesLes relations industrielles ont été durant cette période :

• XEROX-Grenoble, avec qui nous avons coopéré via 3 bourses CIFRE, dont celle de A. Max(2001-03) sur la normalisation de documents, ainsi que via l’utilisation de XFST et XIP pourdivers projets.

• ATR-Japon par les projets C STAR-IIC et CSTAR-III.

• NeuroSoft (n’existe plus), pour une utilisation expérimentale d'Ariane-G5 et le montage deprojets.

• LexiQuest (Paris, maintenant Lingway), pour une étude d'adaptation au japonais deLexiGuide.

• Softissimo (Paris), pour l'amélioration des techniques d'acquisition de données lexicalesbilingues et de recherche d'information multilingue.

• Systran (Paris), avec qui une coopération de type conseil est engagée depuis quelques années.

• Prosodie (Paris), avec une thèse CIFRE (A. Falaise) visant à la réalisation d’un tchatmultilingue multimodal prolongeant ce que Prosodie fait en traitement vocal (2 M appels parjour dont 50 K avec reconnaissance de parole).

8. ContratsContrats terminés :

• 2° phase de l'ARP FEV de l'AUF (dictionnaire français-vietnamien), décembre 2002.

• Nespole!, contrat européen IST en traduction de parole, début 2003.

• ERIM, contrat Emergence de la région Rhône-Alpes, juin 2002.


18/32

• FEM, contrat MAE, mai 2003.

• ChinFaDial, contrat LIAMA (INRIA-CAS) sur la collecte de dialogues oraux français-chinoiset des expérimentations pour CSTAR-III, fin 2003.

• PRISM, projet IMAG, 2003-05, RI multilingue.

Contrats en cours :

• PRA FAFC-UNL, MAE, 2003-2005 (2 ans en fait, allongement à cause du SRAS), avec leNLPR (Pékin), 7500 €/an

• VTHFra.Dial, avec l’AUF (réseau LTT), 7.500€/an

• FrancoThai-NLP, avec le MAE et le MENRT, 2005-2007, 25000€/an (per diem des stagiairesThaïs et missions de Français)

• LexAlp, projet INTERREG de l’UE, 2005-2007, base terminologique multilingue pour ledroit du sol dans les pays de l’arc alpin.

• CIFRE Prosodie, 2005-07, 10 K €/an

• TRANSAT, avec FT R&D, 30 mois, 11/04-5/07, conseil et préparation de données etlogiciels de test, 100 K €.

• STIC-Asie-TAL, 2006-08, budget encore inconnu (géré par Toulouse).

Contrats soumis ou en préparation :

• ECO-NET-unl, avec l’IPPI et un labo bulgare, sur la multilinguïsation de sites web par UNL.

• ARP LTT sur FEV-UNL, 2006-08, avec DATIC (Da Nang)

• Contrat de coopération scientifique et technique avec IBM sur un serveur de corpus parallèlesbruts ou annotés utilisant un grand serveur S/390 (en préparation).

9. Publications 2001-2005

Actes de colloques, séminaires, cours…

Sérasset G., Armstrong S., Boitet C., Popescu-Belis A. & Tufis D., ed. (2004)Proceedings of the COLING 2004 Post Conference Workshop on MultilingualLinguistic Ressources MLR2004. COLING, Geneva, Switzerland, 125 p.

Articles de revues

Boitet C. (2001) À propos de la traduction automatique. La TILV (TribuneInternationale des Langues Vivantes), 30, pp. 16-17.

Boitet C. (2003) Problèmes scientifiques intéressants en traduction de dialogues orauxfinalisés. In "Mécanique des signes et langages des sciences", Y. Bréchet, P. Jarry &F. Létoublon, ed., MSH-Alpes, Grenoble, pp. 127-144.

Boitet C. (2003) Automated Translation. Revue française de linguistique appliquée,VIII-2, pp. 99-121.

Bellynck V. (2001) Introduction d'un support textuel pour expliciter la programmationdans Cabri II. STE, Sciences et Techniques éducatives, Hermès, vol. 8, n°3-4, pp.347-377.

Blanchon H. B., Christian; Besacier, Laurent (2004) Spoken Dialogue TranslationSystems: Selected Evaluation Results, New Evaluation Trends, Problems andProposals to Go Further. IEEE Transactions on Speech and Audio Processing, pp.15. (submitted)

Brunet-Manquat F. (2004) Description et conception d'une plate-forme robustecombinant des analyseurs d'énoncé. Revue en ligne ISDM (Informations, Savoirs,


19/32

Décisions et Médiations), 13/114, pp. 12. http://isdm.univ- tln.fr/PDF/isdm13/isdm13a114_brunet.pdf

Cao W., Zong C. & Xu B. (2004) Research on IF Based Chinese Generation Approach.Journal of Chinese Language and Computing.

Del Vigna C. & Berment V. (2003) Ambiguïtés irréductibles dans les monoïdes de mots.Bulletin of the Belgian Mathematical Society, 10/pp. 14. (ISSN 1370-1444)

Mangeot-Lerebours M., Sérasset G. & Lafourcade M. (2003) Constructioncollaborative d'une base lexicale multilingue, le projet Papillon. TAL, 44/2, pp. 151-176. http://www-clips.imag.fr/geta/gilles.serasset/clips-only/papillon-tal-sent.pdf

Communications à des conférences internationales sans comité de lecture

Berment V. (2003) XML schema for Lao. Proc. Seminaire Papillon 2003, Universitéd’Hokkaido, Sapporo (Japon), 3-5 juillet, 3 p.

Blanc É. & Sérasset G. (2001) From Graph to Tree: Processing UNL Graphs using anExisting MT System. Proc. The first UNL open Conference, Suzhou, China, 22-26November 2001, UNDL.

Boitet C. (2001) GETA's current research activities and possible contribution to the MMAproject. Proc. MMA'01, 29-31/1/01, SigMatics & NII, Tokyo, 17 p.

Boitet C. (2002) The translation of examples, citations, definitions and glosses in thePapillon project. Proc. Papillon-02 seminar on multilingual lexical data bases,Tokyo, 16-18/7/02, NII, M. Mangeot, ed., 10 p.

Fafiotte G. (2004) Interprétariat à distance et collecte de dialogues spontanés bilingues,sur une plate-forme générique multifonctionnelle. Proc. TALN-2004, Fès, Maroc, 19-21/4/04, 10 p. (avec poster)

Fafiotte G. & Boitet C. (2004) Outils génériques pour la création de ressourceslinguistiques et le développement d'aides à la communication multilingue sur le web.Proc. Colloque International du Xème Sommet de la Francophonie,"Développement durable, leçons et perspectives", Ouagadougou, 1-4 juin, 9 p. (avecposter)

Tsai W.-J. (2001) SWIIVRE- a web site for the Initiation, Information, Validation,Research and Experimentation on UNL (Universal Networking Language). Proc.First UNL Open Conference - Building Global Knowledge with UNL, Suzhou,China, 18-20 Nov. 2001, GETA, CLIPS, IMAG, G. UNDL, ed., 8 p.

Communications à des conférences internationales avec comité de lecture

Al-Assimi A.-B. & Boitet C. (2001) Management of Non-Centralized Evolution ofParallel Multilingual Documents. Proc. Internationalization Track, 10thInternational World Wide Web Conference, Hong Kong, May 1-5, 2001, 7 p.

Antoine J.-Y. G., Jérôme; Letellier, Sabine (2005) Parole spontanée et variationd'ordre linéaire en français : régularités synatxiques et difficultés pour le dialogue oralHomme-Machine. . Proc. Journée de l'ATALA "Hésitations, disfluences, répétitions,faux-départs : quel ordre dans le désordre ?" Paris, 2 avril.

Bellynck V. (2001) Langage « narratif » : 3 exemples pour convaincre. Proc. IHM-HCI2001 Conférence jointe IHM-HCI franco-anglaise sur l'Interaction Homme-Machine, Lille, France, 10 - 14 septembre 2001, 4 p.

Bellynck V. (2001) Assisting end users in the programming activities underlying amicroworld environment for dynamic geometry. Proc. CALIE'2001, International


20/32

Conference on Computer Aided Learning in Engeneering Education, Tunis,TUNISIA, November 8-10 2001.

Bellynck V. & Boitet C. (2002) Bases lexicales multilingues et objets pédagogiquesinteractifs : Sensillon pour Papillon (Multilingual Lexical Databases and Web-basedInteractive Language Learning Objects: Sensillon for Papillon). Proc. Papillon 2002Seminar, NII, Tokyo, Japan, 16-18 July 2002, 8 p.

Bellynck V., Boitet C. & Kenwright J. (2004) Resource pooling for technical Englishlearning via lexical access. Proc. Papillon-04 seminar, UJF, Grenoble, 30 Aug.-2Sept., 5 p.

Bellynck V., Boitet C. & Kenwright J. (2004) Resource pooling for technical Englishlearning via lexical access. Proc. PAPILLON-2004 Workshop on Multilingual LexicalDatabases, Grenoble, France, August 30th-September 1st, 2004, G. Sérasset, ed.,5 p.

Bellynck V. & Kenwright J. (2004) ITOLDU : Accessing to vocabulary learning in atechnical English resource pooling environment. Proc. PAPILLON-2004 Workshop onMultilingual Lexical Databases, Grenoble, France, August 30th-September 1st,2004, G. Sérasset, ed., 5 p.

Bellynck V. B., Christian; Kenwright, John (2005) ITOLDU, a Web Service to PoolTechnical Lexical Terms in a Learning Environment and Contribute to MultilingualLexical Databases. Proc. Computational Linguistics and Intelligent Text Processing(Proc. CICLING-2005), Mexico, Mexique, 14-18 Feb., Springer (LNCS 3406), A.Gelbukh, ed., pp. 319-327.

Bellynck V., Boitet C. & Kenwright J. (2005) Construction collaborative d'un lexiquefrançais-anglais technique dans IToldU!: contribuer pour apprendre. Proc. SeptièmesJournées scientifiques du réseau LTT (Lexicologie Terminologie Traduction) del'AUF (agence universitaire de la francophonie), Bruxelles, 8-10 sept. 2005, AUF,P. Thoiron, ed., 7 p.

Bérard F. (2003) The Magic Table: Computer-Vision Based Augmentation of aWhiteboard for Creative Meetings. Proc. IEEE workshop on Projector-CameraSystems, Nice, France, 12 octobre, IEEE, ed., 8 p.http://iihm.imag.fr/publs/2003/PROCAM03_MagicTable_Berard.pdf

Berment V. (2002) Several technical issues for building new lexical bases. Proc. Papillon-02 seminar on multilingual lexical data bases, National Institute of Informatics,Tokyo (Japon), juillet, NII, 5 p.

Berment V. (2002) UNL annotation of minority languages web pages using the Papillonlexical base. Proc. Séminaire "Linguistic Meaning Representation And TheirApplications Over The World Wide Web", Université Sains Malaysia, Penang(Malaisie), août, 5 p.

Berment V. (2002) Several directions for minority languages computerization. Proc.COLING 2002, Howard International House, Taipei (Taiwan), août, 5 p.

Berment V. (2003) LaoWord's Word Processing Functions. Proc. PAN-Laos NationalSeminar, STEA, Vientiane (Laos), mars, 10 p.

Berment V. J., Thakkhinh; Dechanet, Blandine (2003) Parts of Speech for theLaoLex Dictionary. Proc. Pan Asia Networking All Partners 2003, Novotel,Vientiane (Laos), 24 p.

Berment V. T., Houmphanh (2003) Cooperative Lao ICT framework. Case study:construction of Lao lexical resources. Proc. Regional Conference on Digital GMS,Asian Institute of Technology, Bangkok (Thaïlande), février, 9 p.

Berment V. (2003) Current status of the Papillon-Lao database: Tools (LaoLex),dictionary (LaoDict), XML schema and export towards Papillon. Proc. SeminairePapillon 2003, Université d’Hokkaido, Sapporo (Japon), 3-5 juillet, 34 p.


21/32

Berment V. (2004) Sylla and GMSWord, applications to Myanmar languagescomputerization. Proc. International Burma Studies Conference, Université duNord-Illinois, DeKalb, Illinois (USA), octobre, 1 p.

Berment V. (2005) Online translation services for the Lao language. Proc. InternationalConference on Lao Studies, Université du Nord-Illinois, DeKalb, Illinois (USA),mai, 11 p.

Berment V. K. G. (2005) Towards a Computerization of the Lao Tham System ofWriting. Proc. International Conference on Lao Studies, Université du Nord-Illinois,DeKalb, Illinois (USA), mai, 21 p.

Bey Y., Kageura K. & Boitet C. (2005) A Framework for Data Management for theOnline Volunteer Translators' Aid System QRLex. Proc. PACLIC 19 (19th Asia-Pacific Conference on Language, Information and Computation), Taipei, 1-3/12/05,Academia Sinica, 10 p.

Blanc É. (2001) An interactive hypertextual environment for MT training. Proc. MTSummit VIII, Workshop on Teaching Machine Translation, Santiago deCompostela, 20-22 Sept. 2001, European Association for Machine Translation (c/oISSCO), M. L. Forcada, J. A. Perez-Ortiz & D. R. Lewis, ed., pp. 51-55.

Blanchon H. & Boitet C. (2003) Two Steps Towards Self-Explaining Documents. Proc.Convergences-2003, Alexandrie, 2-5/12/2003, 6 p.

Blanchon H. B., Christian; Besacier, Laurent (2004) Evaluation of Spoken DialogueTranslation Systems: Trends, Results, Problems and Proposals. Proc. COLING-84,Genève, Suisse, 23-27 august, ACL, 7 p.

Blanchon H. B., Christian; Besacier, Laurent (2004) Spoken Dialogue TranslationSystem Evaluation: Results, New Trends, Problems and Proposals. Proc. IWSLT2004 (Intl. Workshop on Spoken Language Translation), Kyoto, Japan, September30 - October 1, pp. 95-102, 8 p.

Blanchon H. B., Christian; Brunet-Manquat, Francis; Tomokio, Mutsuko;Hamon, Agnès; Hung, Vo Trung; Bey, Youcef (2004) Towards FairerEvaluation of Commercial MT Systems on Basic Travel Expressions Corpora. Proc.IWSLT 2004 (ICLSP 2004 Satellite Workshop), Kyoto, Japan, September 30-October 1, pp. 21-26, 6 p.

Blanchon H. (2004) HLT Modules Scalability within the NESPOLE! Project. Proc.ICSLP 2004, Jeju Island, Korea, October 4-8, 4 p.

Boitet C. (2001) Méthodes d'acquisition lexicale en TAO : des dictionnaires spécialiséspropriétaires aux bases lexicales généralistes et ouvertes. Proc. Conférence associée àTALN-2001 "TAO et applications de grande taille", Tours, 5 juillet 2001, ATALA,D. Maurel, ed., vol. 2/2, pp. 249-265.

Boitet C. (2001) Four technical and organizational keys for handling more languages andimproving quality (on demand) in MT. Proc. MTS2001 Workshop on "MT2010 —Towards a Road Map for MT", Santiago de Compostela, 18/9/01, IAMT, 8 p.

Boitet C. (2002) A rationale for using UNL as an interlingua and more in variousdomains. Proc. LREC-02 First International Workshop on UNL, other Interlinguas,and their Applications, Las Palmas, 26-31/5/2002, ELRA/ELDA, J. Cardeñosa,ed., pp. 23—26.

Boitet C., Mangeot M. & Sérasset G. (2002) The PAPILLON project: cooperativelybuilding a multilingual lexical data-base to derive open source dictionaries & lexicons.Proc. LREC-02 (International Conference on Language Resources and Evaluation),Las Palmas, 26-31/5/2002, A. Zampolli & I. Prodanoff, ed., 7 p. (accepté)

Boitet C. & Tsai W.-J. (2002) Coedition to share text revision across languages. Proc.COLING-02 WS on MT, Taipeh, 1/9/2002, 8 p.

Boitet C. T., Wang-Ju (2002) Coedition to share text revision across languages. Proc.COLING-02 WS on MT, Taipeh, 8 p.


22/32

Boitet C. (2002) Advantages of the UNL language and format for web-orientedcrosslingual applications. Proc. Seminar on linguistic meaning representation andtheir applications over the World Wide Web, Penang, 19-21/8/02, USM/UTMK, E.K. Tang, ed., 4 p.

Boitet C. (2002) A roadmap for MT : four « keys » to handle more languages, for all kindsof tasks, while making it possible to improve quality (on demand). Proc.International Conference on Universal Knowledge and Language (ICUKL2002),Goa, 25-29/11/02, P. Bhattacharrya, ed., 12 p.

Boitet C. & Tsai W.-J. (2002) Coedition of texts and UNL graphs to share text revisionacross languages and improve MT a posteriori. Proc. International Conference onUniversal Knowledge and Language (ICUKL2002), Goa, 25-29/11/02, P.Bhattacharrya, ed., 8 p.

Boitet C. (2003) Approaches to enlarge bilingual corpora of example sentences to morelanguages. Proc. Papillon-03 seminar, Hokkaido university, Sapporo, 3-5 July2003, 13 p.

Boitet C. & Vo-Trung H. (2005) Getamsg, une librairie pour le traitement de messagesavec variantes et leur localisation. Proc. CIDE-8, Beyrouth, 22-26 mai, 13 p.

Boitet C. & Vo-Trung H. (2005) Getamsg, une librairie pour le traitement de messagesavec variantes et leur localisation. Proc. CIDE-8, Beyrouth, 22-26 mai, 13 p.

Brunet-Manquat F. (2003) Fusionner pour mieux analyser : quelques idées et unepremière expérience. Proc. RECITAL'2003, Batz-sur-mer, France, vol. 1/2, pp. 429-438.

Brunet-Manquat F. (2004) Fusionner pour mieux analyser : conception et évaluation dela plate-forme de combinaison. Proc. TALN-2004, Fez, Maroc, avril, vol. 1/2, pp.111-120, 8 p.

Brunet-Manquat F. (2004) Syntactic parser combinaison for improved dependencyanalysis. Proc. ROMAND-2004, Workshop COLING 2004, august, vol. 1/1, 7 p.

Cao W.-J., Xu B. & Iso-Sipilä J. (2002) Linguistic and Acoustic Analysis of ChinesePerson Names. Proc. International Symposium on Chinese Spoken LanguageProcessing, Taipei, Aug. 2002, pp. 197-200.

Cao W., Xu B., Zong C. & Iso-Sipilä J. (2002) Chinese Person Name IdentificationBased on Rules and Statistics”,. Proc. International Symposium on Chinese SpokenLanguage Processing, Taipei, Aug. 2002, pp. 331-334.

Cao W., Zong C. & Xu B. (2004) Approach to interchange-format based Chinesegeneration. Jeju Island, Korea, October 4-8, 2004, pp. 1893-1896.

Cao W., Zong C. & Xu B. (2005) Investigation of emotive expressions of spoken sentences.Proc. ACII 2005.

Chevallet J.-P. & Sérasset G. (2004) Using Surface-Syntactic Parser and Deviationfrom Randomness. X-IOTA IR System Used for CLIPS Mono and BilingualExperiments for CLEF 2004. Proc. Cross Language Evaluation Forum CLEF 2004,workshop part of European Conference on Digital Libraries ECDL 2004, Bath, UK,15-17 September, 12 p.

Del Vigna C. B., Vincent (2002) Ambiguïtés irréductibles dans les langages de mots.Proc. 9ème Conférence Internationale - Journées Montoises d'InformatiqueThéorique, Université Paul Valéry, Montpellier (France), septembre, 2 p.

Devillers L., Maynard H., Rosset S., Paroubek P., McTait K., Mostefa D. & al.(2004) The French MEDIA/EVALDA project: the evaluation of the understandingcapability of Spoken Language Dialogue Systems. Proc. LREC-2004, Lisbonne,Portugal, 24-30 mai, vol. 6pp. 2131-2134, 4 p.

Dymetman M. M., Aurélien; Yamada, Kenji (2003) Towards Interactive TextUnderstanding. Proc. ACL'03, Sapporo, Japan, pp. 4. http://www-


23/32

clips.imag.fr/geta/aurelien.max/documents/DymetmanMaxYamada-ACL03.ps (Short paper)

Fafiotte G. & Boitet C. (2003) ERIMM, a platform for assisting and collectingmultimedia spontaneous bilingual dialogues. Proc. NLP-KE'03 (InternationalConference on Natural Language Processing and Knowledge Engineering), Beijing,26-29/10/03, 6 p.

Fafiotte G., Boitet C., Seligman M. & Zong C. (2004) Collecting Bilingual Dialoguesusing a Web-Based Platform for the Study of Interpretation. Proc. LREC-04(Language Resources and Evaluation Conference), Lisbonne, 24-28/5/04, 9 p.

Fafiotte G. (2004) Building and sharing multilingual speech resources, using ERIM genericplatforms. Proc. COLING-MLR 2004,, Geneva, Switzerland, 28 Aug. 2004, 8 p.

Fafiotte G. (2005) Développer la communication multilingue sur le web, créer et partagerdes corpus de parole multilingue, avec la plate-forme évolutive ERIM. Proc. CIDE-8,Beyrouth, 22-26 mai, 14 p.

Fafiotte G. (2005) Collecte à distance et diffusion collaboratives de corpus bilingues enlangue parlée, en situation ouverte, finalisée ou contextualisée. Proc. SeptièmesJournées scientifiques du réseau LTT (Lexicologie Terminologie Traduction) del'AUF (agence universitaire de la francophonie), Bruxelles, 8-10 sept. 2005, AUF,P. Thoiron, ed., 8 p.

Gala N. A.-M., Salah (2003) Lexicalising a robust parser grammar using the WWW. Proc.Conference on Corpus Linguistics, Lancaster, England, vol. http://www-clips.imag.fr/geta/User/nuria.gala/Docs/ait-gala-cl03.doc.

Goulian J. (2003) How Robust NLP Techniques can improve speech understanding:ROMUS -- a Robust Chunk based Message Understanding System using LinkGrammars. Proc. Eurospeech'2003, Genève, Suisse.http://clips.imag.fr/~genthial/Publis/Goulian-03-Eurospeech.pdf

Hajlaoui N. B., Christian (2003) A "pivot" XML-based architecture for handlingmultilingual, multiversion documents: parallel monolingual documents alignedthrough a central correspondence descriptor and possible use of UNL. Proc.Convergences'03, Alexandria (Egypt), 2-5/12/03, 8 p. http://www- clips.imag.fr/geta/User/najeh.hajlaoui/paper032-391.pdf

Hajlaoui N. B., Christian (2004) PolyphraZ, un outil pour la gestion de corpusparallèles. Proc. TALN-04, Fès, 19-21 avril, ATALA, 10 p.

Hajlaoui N. B., Christian (2004) PolyphraZ : a tool for the management of parallelcorpora. Proc. MLR2004: PostCOLING Workshop on Multilingual LinguisticResources, Genève, Suisse, 28/8/04, 8 p.

Hajlaoui N. B., Christian (2004) PolyphraZ : a tool for the quantitative and subjectiveevaluation of parallel corpora. Proc. IWSLT 04 (Intl. Workshop on SpokenLanguage translation), Kyoto, Japan, September 30 - October 1, 7 p. http://www- clips.imag.fr/geta/User/najeh.hajlaoui/IWSLT-04-sub-NH-CB-en-v17.pdf

Huy-Khanh P., Fafiotte G. & Boitet C. (2005) Construction de dictionnaires reliant lefrançais à des langues de la francophonie : l'exemple du FeV pour le vietnamien. Proc.RIVF-05 (Research, Innovation and Vision of the Future), Hanoi, 21-24 février,Université Can Tho, 8 p.

Lafourcade M. & Boitet C. (2002) UNL Lexical selection with conceptual vectors. Proc.LREC-02 (International Conference on Language Resources and Evaluation), LasPalmas, 26-31/5/2002, A. Zampolli & I. Prodanoff, ed., vol. VI/VI, pp.1958—1964.

Lapalme G. S., Gilles (2003) Batch creation of Papillon entries from DiCo. Proc.Papillon 2003 Workshop on Multilingual Lexical Databases, Sapporo, Japan, 3-5juillet, vol. http://www.papillon-dictionary.org/info_media/3077687.pdf.


24/32

Mangeot-Lerebours M. & Sérasset G. (2002) Frameworks, Implementation and OpenProblems for the Collaborative Building of a Multilingual Lexical Database. Proc.Proc. of SEMANET Workshop, Post COLING 2002 Workshop, Taipei, Taiwan, K.W. Church, ed., pp. 9-15.

Max A. D., Marc (2002) Document Content Analysis through Fuzzy Inverted Generation.Proc. AAAI Symposium on Using (and Acquiring) Linguistic (and World) Knowledgefor Information Access, Stanford University, USA, 4 p. http://www- clips.imag.fr/geta/aurelien.max/documents/MaxDymetman-AAAI02.pdf

Max A. (2003) Multi-language Machine Translation through Document Normalization.Proc. EACL03 Workshop of the European Association for Machine Translation(EAMT), Budapest, Hongrie, pp. 8. http://www- clips.imag.fr/geta/aurelien.max/documents/Max-EACLEAMT03.pdf

Max A. (2003) Reversing Controlled Document Authoring to Normalize Documents. Proc.EACL03 Student Research Workshop, Budapest, Hongrie, 8 p. http://www- clips.imag.fr/geta/aurelien.max/documents/Max-EACLSRW03.pdf

Max A. (2004) Interpreting Communicative Goals in Constrained Domains usingGeneration and Interactive Negotiation. Proc. ACL'04 workshop on Text Meaningand Interpretation, Barcelone, Espagne, 8 p.

Max A. (2004) From Controlled Document Authoring to Interactive DocumentNormalization. Proc. COLING 2004, Genève, Suisse, 22-26/8/04, 7 p.

Max A. (2004) The Syntax Student's Companion: an eLearning Tool designed for(Computational) Linguistics Students. Proc. COLING 2004 workshop on eLearningfor Computational Linguistics and Computational Linguistics for eLearning,Genève, Suisse, 28/8/04, 8 p.

Maynard H. M. K., Mostefa D., Devillers L., Rosset S., Paroubek P., Bousquet C.,Choukri K., Goulian J., Antoine J.Y., Béchet F., Bontron O., Charnay L.,Romary L., Vergnes M., Vigouroux N. (2004) Constitution d'un corpus dedialogue oral pour l'évaluation automatique de la compréhension hors et en contextedu dialogue. Proc. JEP'2004, Fès, Maroc, 19-22 avril, pp. 357-360, 4 p.

Sénellart J., Boitet C. & Romary L. (2003) XML Machine Translation. Proc. MTS-IX(Machine Translation Summit), New-Orleans, 23-28 September 2003, 9 p.

Sérasset G. & Mangeot-Lerebours M. (2001) Papillon Lexical Database Project:Monolingual Dictionaries & Interlingual Links. Proc. NLPRS-2001, NII, Tokyo, 27-30 November 2001, pp. 119-125.

Sérasset G. (2002) Current Status of the Papillon Server Development. Proc. Papillon-2002 Seminar, National Institute of Informatics, Tokyo, July 2002, 7 p.

Sérasset G. (2003) Remaining Issues that could Prevent UNL to be Accepted as aStandard. Proc. Convergences'03, Alexandria (Egypt), pp. 4. http://www- clips.imag.fr/geta/gilles.serasset/convergences03-serasset.pdf

Sérasset G. & Chevallet J.-P. (2003) Simple Translations of Monolingual QueriesExpanded Through an Association Thesaurus. X-IOTA IR System used for CLIPSBilingual Experiment. Proc. Comparative Evaluation of Multilingual InformationAccess Systems: 4th Workshop of the Cross-Language Evaluation Forum, CLEF2003, Trondheim, Norway, 21-22 August, Springer Verlag, C. Peters, J. Gonzalo,M. Braschler& al., ed., pp. 242-252. (LNCS-3237)

Sérasset G. (2004) A Generic Collaborative Platform for Multilingual Lexical DatabaseDevelopment. Proc. COLING 2004, workshop on Multilingual Linguistic Resources,Geneva, Switzerland, 28 August, COLING, G. Sérasset, ed., pp. 73-79.http://clips.imag.fr/geta/gilles.serasset/GSCOLINGMLR2004.pdf

Sérasset G. & Blanc É. (2005) Remaining Issues that could Prevent UNL to be Acceptedas a Standard. Proc. Universal Networking Language, Advances in Theory andapplications, J. Cardeñosa, A. Gelbukh & E. Tovar, ed., vol. 12pp. 117-124.


25/32

http://www-clips.imag.fr/geta/gilles.serasset/convergences03-serasset.pdf (Researchon Computing Science)

Teeraparbseree A. (2002) A practical guide to lexical data acquisition with recupdic.Proc. Papillon-02 seminar on multilingual lexical data bases, Tokyo, Japan, NII,M. Mangeot, ed., 17 p. http://www-clips.imag.fr/~teerapaa/areePapillon02.pdf

Teeraparbseree A. (2003) Jeminie: A flexible system for the automatic creation ofinterlingual databases. Proc. Papillon-03 seminar on multilingual lexical databases, Sapporo, Japan, 3-5 juillet, 10 p. http://www- clips.imag.fr/~teerapaa/areePapillon03.pdf

Teeraparbseree A. (2004) Qualitative Evaluation of Automatically CalculatedAcception Based MLDB. Proc. COLING 2004, workshop on Multilingual LinguisticResources, Geneva, Switzerland, 28 August, COLING, G. Sérasset, ed., 8 p.http://www-clips.imag.fr/~teerapaa/areeMLR04.pdf

Tomokiyo M., Al-Assimi A.-B. & Boitet C. (2001) Multilingual documentsmanagement by using Universal Networking Language UNL on Alignment GestionTool OGA. Proc. PACLING'01, Fukuoka, Sept. 2001, H. Sakaki, ed., 7 p.

Tomokiyo M. (2003) Description of pragmatic properties of lexis in monolingualdictionaries for the Papillon database. Proc. Papillon 2003 Workshop onMultilingual Lexical Databases, Sapporo, Japan, 3-5 juilet.

Tomokiyo M. & Hollard S. (2004) A semantic representation of emotions based on adialogue corpus analysis. Proc. Papillon-04 seminar, Grenoble, France, 30 Aug.-2Sept., Papillon.

Tomokiyo M. & Chollet G. (2005) VoiceUNL: a Semantic Representation of EmotionsWithin Universal Networking Language Formalism Based on a Dialogue CorpusAnalysis. Proc. Computational Linguistics and Intelligent Text Processing, MexicoCity, 13-19, February, Springer, A. Gelbukh, ed., pp. 441-451.

Tomokiyo M., Chollet G. & Hollard S. (2005) VoiceUNL: a semantic representation ofemotions based on a multimodal dialogue corpus analysis. Proc. Un siècle dephonétique expérimentale : histoire et développement, Grenoble, 24-25 February,pp. 60-60.

Tsai W.-J. (2001) An introduction to UNL (Universal NEtworking Language). Proc. 22ndVerein der Chinesen (Taiwanesen) in Deutschland für Forschung und Lehre(VCTDFL), Strasbourg, France, 1-4 Nov. 2001, Verein der Chinesen (Taiwanesen)in Deutschland für Forschung und Lehre (VCTDFL).

Vo-Trung H. (2004) Construction d'un outil pour analyser un document multilinguehétérogène en zones homogènes. Proc. Research Informatics Vietnam & Francophone(RIVF), Hanoï, Vietnam, février, pp. 175-178, 4 p. http://www- clips.imag.fr/~genthial/Publis/Hung-RIVF-04.pdf

Vo-Trung H. (2004) Système pour l'analyse des documents hétérogènes. Proc. JADT'2004,Louvain la neuve, Belgique, mars, vol. 2/2, pp. 1177-1184, 8 p. http://www- clips.imag.fr/~genthial/Publis/Hung-JADT-04.pdf

Vo-Trung H. & Boitet C. (2005) Automates finis contrôlés pour localiser des messagesavec variables et variantes. Proc. RIVF-05 (Research, Innovation and Vision of theFuture), Hanoi, 21-24 février, Université Can Tho, 6 p.

Vo-Trung H., Phan-Hu K. & Boitet C. (2005) Une composition de solutions génériquespour créer le dictionnaire FEV et importer le vietnamien dans Papillon. Proc.Journées scientifiques LTT, Bruxelles, 8-10 sept. 2005, AUF, P. Thoiron, ed., 9 p.

Vu Minh Q., Besacier L., Castelli E., Bigi B. & Blanchon H. (2004) Interchangeformat-based language model for automatic speech recognition in speech-to-speechtranslation. Proc. RIVF'04 (Recherche Informatique Vietnam-Francophonie), Hanoi,Vietnam, February 2-5, pp. 47-50, 4 p. (To be published in a special issue ofStudia Informatica Universalis [Suger Editor])


26/32

Communications invitées à des conférences internationales

Boitet C. (2001) Die Zukunft der maschinellen Uebersetzung von Texten und gesprochenenDialogen. Vier technische und organizatorische Schlüssel, um mehr Sprachen zubehandeln und die Qualität zu verbessern. Proc. 2. Hungarian HumboldtConference, Budapest, 16-18/11/2001, Humboldt association, 8 p. (texte enanglais, transparents en allemand)

Boitet C. (2004) Multilinguality in Agricultural Information Access. Proc. AFITA-04workshop, World congress on computers in agriculture and natural resources,Bangkok, 9-12 Aug., Kasetsart University, 21 p.

Boitet C. (2005) New architectures for "democratic" tunable quality MT systems. Proc.Pacific Association for Computational Linguistics (Proc. PACLING-2005), Meiseidaigaku, Hino campus, 24-27 Aug., PACLING Association, S. Hiroshi, ed., pp.33—57. (invited communication)

Communications diverses

Blanchon H. (2003) Traduction de parole : état des lieux et perspectives. Proc. SéminaireTraduction de France Telecom, Paris, pp. 70.

Boitet C. & Durand J.-C. (2001) Ariane-Y. Communication orale, Journée scientifiquedu laboratoire CLIPS, Grenoble, 7/6/01, 18 p. (transparents)

Communications à des conférences nationales sans comité de lecture

Communications à des conférences nationales avec comité de lecture

Antoine J.-Y. G., Jérôme; Vilaneau, Jeanne (2003) Quand le TAL Robuste s'attaqueau langage parlé : analyse incrémentale pour la compréhension de la parolespontanée. Proc. TALN-2003, Batz-sur-Mer.http://clips.imag.fr/~genthial/Publis/Goulian-03-TALN.pdf

Bellynck V. (2001) Programmation par manipulation directe de figures géométriques etconception d'un média textuel. Proc. Hypermédia et Apprentissage, Grenoble,France, 9-11 avril 2001.

Bellynck V., Boitet C. & Kenwright J. (2004) ITOLDU : un site pédagogique pourl'enseignement de l'anglais technique. Proc. Journée ATALA "TAL et Apprentissagedes Langues", Grenoble, France, 22-23/10/04, ATALA, G. Antoniadis, ed., 4 p.

Blanchon H. B., Christian (2004) Deux premières étapes vers les documents auto-explicatifs. Proc. TALN 2004, Fès, Maroc, 19-21 avril, ATALA, ed., pp. 61-70.

Blanchon H. & Besacier L. (2004) Traduction de dialogues : mise en perspective desrésultats du projet NESPOLE! et pistes pour le domaine. Proc. TALN 2004, Fès,Maroc, 19-21 avril, pp. 55-60.

Blanchon H. & Boitet C. (2004) Les Documents Auto-Explicatifs : une voie pour offrirl'accès au sens aux lecteurs. Proc. CIDE 7 (Approches Sémantiques du DocumentÉlectronique), La Rochelle, France, 22-25 juin, pp. 273-290.


27/32

Brunet-Manquat F. (2003) Combinaison d'analyseurs pour concevoir un système robuste.Proc. RJC'2003 (Rencontre Jeunes Chercheurs en parole), Grenoble, France, pp. 6.

Brunet-Manquat F. (2003) Description et conception d'un outil robuste combinant desanalyseurs d'énoncé. Proc. Majecstic'03, Marseille, France, pp. 6.

Fafiotte G. (2003) Building multimodal speech corpora from interpreted spontaneousdialogues on the net. Proc. TSD'2003, Budejovice, Czech Republic, September 8-12,8 p.

Falaise A. (2005) Constitution d'un corpus de français tchaté. Proc. RÉCITAL 2005,Dourdan, France, 6-10 juin, ATALA, 10 p. http://www- clips.imag.fr/geta/User/achille.falaise/publis/AF-Article_RECITAL_2005.pdf

Gala N. (2003) Une méthode non supervisée d'apprentissage sur le Web pour la résolutiond'ambiguïtés structurelles liées au rattachement prépositionnel. Proc. TALN-2003,Batz-sur-Mer. http://www-clips.imag.fr/geta/User/nuria.gala/Docs/gala-taln03.pdf

Teeraparbseree A. (2004) Un système adaptable pour l'initialisation automatiqued'une base lexicale interlingue par acceptions. Proc. RECITAL-2004, Fès, Maroc, 19-22 avril, 6 p. http://www-clips.imag.fr/~teerapaa/areeRecital04.pdf

Vo-Trung H. (2003) Évaluation des méthodes et des outils actuels pour l'identificationautomatique de la langue et du codage d'un texte homogène. Proc. MAJESTIC'03,Marseille, France, septembre, 5 p. http://www-clips.imag.fr/~genthial/Publis/Hung- Majecstic-03.pdf

Vo-Trung H. (2004) Réutilisation de traducteurs gratuits pour développer des systèmesmultilingues. Proc. RECITAL-2004, Fès, Maroc, 19-22 avril, 8 p. http://www- clips.imag.fr/~genthial/Publis/Hung-RECITAL-03.pdf

Vu Minh Q., Besacier L., Blanchon H. & Bigi B. (2004) Modèle de langagesémantique pour la reconnaissance automatique de parole dans un contexte detraduction. Proc. TALN 2004, Fès, Maroc, 19-21 avril, pp. 477-482, 6 p.

Xie G., Cao W., Zong C. & Xu B. (2004) Research on Speech Translation Methods ofChinese, Tibetan, Mongolian, and Language of the Weiduo Nationalities. Proc.Symposium on Chinese Minority Language Information Processing and LanguageResource Construction, April 2004, pp. 367-372. (en chinois)

Communications orales

Blanchon H. (2004) Le projet LIDIA et les Documents Auto-Explicatifs. SéminaireGETA-CLIPS, Grenoble, France, 22 janvier, 50 p. (Jeu de transparentsPowerPoint)

Blanchon H. (2004) Traduction de parole : état des lieux et perspectives. Séminaire pourla société Prosodie, Paris, 2 février, 58 p. (Jeu de transparents KeyNote)

Boitet C. & Al-Assimi A.-B. (2001) Activités en traduction automatique au CLIPS-IMAG et possibilités concernant l'arabe. Communication orale, Grenoble, 20/3/01,36 p. (transparents)

Boitet C. (2002) Proposals for solving some problems in UNL encoding. Communicationorale, UNL Language centers meeting, 28/11/02, 14 p. (transparents)

Boitet C. (2003) Dictionnaires "FeX" du français vers l'anglais et d'autres langues enparallèle. Journée "projets", CLIPS, Grenoble, 23/1/03, 7 p. (transparents)

Boitet C. (2003) Translation and possible "inflation" of the BTEC Using ClassicalTranslation Tools, Analogy, and Random Generation. ATR-SLT seminar,Takahonara, 31/7/03, 36 p. (slides)


28/32

Boitet C. (2003) What can we do for the OG-08? Good multilingual interpretation,translation, & resources. Communication orale, NLPKE'03, Forum on OG-08(Olympic Games), Beijing, 29/10/03, 17 p. (transparents)

Durand J.-C. B., Christian; Genthial, Damien (2004) Le projet Ariane-Y : état deslieux et perspectives. Journée projets du CLIPS, 15 janvier, GETA-CLIPS-IMAG, 21p. (Transparents)

Tomokiyo M. (2004) Adding pragmatic tags to monolingual dictionaries on Papillonlexical database. Third International Workshop on Dictionary Writing Systems(DWS 2004), Brno, Czech Republic, 6-7 September.

Documents internes

Blanchon H. B., Laurent (2003) La traduction de parole au CLIPS : projets C-STAR etNESPOLE! Document interne, GETA-CLIPS-IMAG, 49 p.

Blanchon H. (2003) Analyse et Génération dans le projet NESPOLE! Document interne,GETA-CLIPS-IMAG, 30 p.

Boitet C. (2003) Messages avec variantes, automates finis contrôlés, et multilinguisme.Note de recherche, GETA, CLIPS, IMAG, Grenoble, 13/2/2003, 2 p.

Helme S. & Boitet C. (2003) Avantages économiques d'un environnement de RUGM(Rédaction en UNL et Génération Multilingue). Note de recherche, GETA, CLIPS,IMAG, Grenoble, 25/6/2003, 2 p.

Helme S. B., Christian (2003) Avantages économiques d'un environnement de RUGM(Rédaction en UNL et Génération Multilingue). Note de recherche, GETA, CLIPS,IMAG, Grenoble, 2 p.

Nguyen H.-T. (2005) Cahier des Charges de WICALE version 2.0. Rapport interne,GETA, CLIPS, janvier 2005, 2 p.

Nguyen H.-T. (2005) Documentation de Spécification Externe de WICALE version 2.0.Rapport interne, GETA, CLIPS, mars 2005, 67 p.

Livres

Tomokiyo M. (2002) Analyse discursive de dialogues oraux en français, japonais etanglais!: élaboration et validation par analyse comparative de corpus réels.Septentrion, Lille, 382!p.

Mémoires

Abi Nader F. (2004) Simulation de TAO multimodale et collecte de corpus multimodaux(Projet ERIM). Master-2R MATIS, GETA/CLIPS, Université Joseph Fourier, juin2004, 97 p.

Archer V. (2004) Utilisation pour la linguistique informatique d'informations lexicalesextraites automatiquement à partir de corpus. Rapport de Magistère eninformatique 2ème année, Université Joseph Fourier, 17 septembre 2004, 58 p.http://www- clips.imag.fr/geta/User/vincent.archer/publis/rapportMagistere2_Archer.pdf

Archer V. (2005) Acquisition semi-automatisée de fonctions lexicales à partir de corpusmonolingues et multilingues comparables. Rapport de Master 2ième année (M2R),


29/32

GETA/CLIPS, Université Joseph Fourier, 21 juin 2005, 90 p. http://www- clips.imag.fr/geta/User/vincent.archer/publis/rapportM2R_Archer.pdf

Archer V. (2005) Modernisation de la plate-forme d'édition de la base lexicale du projetLexAlp - Mise en place de formulaires XML (XForms). Rapport de Magistère eninformatique 3ème année, Université Joseph Fourier, 13 octobre 2005, 48 p.http://www- clips.imag.fr/geta/User/vincent.archer/publis/rapportMagistere3_Archer.pdf

Bernard F. (2001) Etude des langages de règles sur les arbres décorés et des modèlesalgorithmiques associés du système Ariane-G5. Rapport de TER de MINF, UJF,Grenoble, 19 p.

Carpena V. (2004) WICALE, Interface cliente générique pour le pilotage de serveurslinguistiques. Mémoire d'ingénieur, CNAM, 14 décembre 2004, 108 p.

Charfi S. (2005) Évaluation de systèmes de communication multimodale et multilinguesur réseau, application à la plate-forme ERIM pour l'interprétariat à distance.Mémoire de Master 2 en informatique (M2R), GETA/CLIPS, UJF, 22 juin 2005, 90p. (+ 78 p. d'annexes)

Choumane A. (2005) Accès à des services de traduction interactive fondée sur le dialogue àtravers un éditeur XML. Mémoire de Master 2 en informatique (M2R), GETA/CLIPSet INRIA, UJF, 21 juin 2005, 76 p.

Cromières F. (2005) Recherche et exploitation d'alignements sous-phrastiqueshiérarchiques. Mémoire de Master 2 en informatique (M2R), GETA/CLIPS, UJF, 21juin 2005, 73 p.

Delseny D. & Kaddour F. (2004) Site web multilingue auto-extensible. Mémoire deMaster 1 (M1) ICA, GETA/CLIPS, UPMF, juin 2004, 44 p.

Falaise A. (2004) Premier pas vers une TA interactive pour le tchat. Rapport de stage deM2R, Université Joseph Fourier, 12 juin, 63 p.

Gundünz B. (2003) Extension fonctionnelle d'ERIM-ChinFaDial, plate-forme de collectede corpus de dialogues spontanés bilingues. Rapport de stage DUT Informatique,GETA, CLIPS, UPMF, juin, 48 p.

Hajlaoui N. (2002) Gestion des versions des composants éléctroniques virtuels. Rapport deDEA, CSI, INPG, juin 2002, 80 p.

Lamboley J. (2002) Réingéniérie d'une plate-forme pour l'interprétariat humain bilinguesur réseau (projet ERIM). Rapport de stage DUT Informatique, GETA, CLIPS,UPMF, juin, 84 p.

Lamboley J. (2003) Extensions fonctionnelles pour la plate-forme ERIM-3 (projet ERIM).Rapport de stage de 3ème année INSA-Lyon, GETA, CLIPS, Grenoble, juillet2003, 50 p.

Lamboley J. (2004) Projet ERIM : une plate-forme robuste de collecte de dialogues orauxbilingues traduits, le module associé de réécoute de corpus, et l'intégration d'aides deTraduction Automatique de Parole. Rapport de stage de 4ème année INSA-Lyon,GETA, CLIPS, Grenoble, septembre 2004, 50 p.

Loyet R. (2003) Extension fonctionnelle d'ERIM-31, plate-forme pour l'interprétariathumain multimodal sur le réseau. Rapport de stage DUT Informatique, GETA,CLIPS, UPMF, juin, 68 p.

Nguyen H.-T. (2005) Vers un "méta-EDL", puis un "EDL générique" pour la TAO.Mémoire de Master 2 en informatique (M2R), GETA/CLIPS, UJF, 21 juin 2005, 85p.

Pain S. & Sandrine R. (2002) Étude d'une intégration, en TA de parole, de systèmesautomatiques et d'interprètes humains sur le Web : ré-ingénierie de la fonction «collecte de corpus de parole bilingue (sur dialogues finalisés spontanés à distance)!», àpartir des plates-formes SIM*-ChinFaDial et ERIM-1 développées au GETA (CLIPS).Rapport de Maîtrise (TER), UJF, mai 2002, 34 p.


30/32

Song K. (2004) Gestionnaire d'un service de Traduction Assistée de Parole Multilingue,avec interprètes humains : solution générique et application trilingue (français-chinois-anglais). Master-2R MATIS, GETA/CLIPS, Université Joseph Fourier, juin 2004,60 p.

Teeraparbseree A. (2001) Politique de gestion d'espace de travail en génie logiciel.Rapport de DEA d'Informatique Systemes et Communication (UJF & INPG),ADELE, LSR, IMAG, 21 juin 2001, 67 p.

Verdurand É. (2005) Édition générique d'objets linguistiques. Mémoire de Master 2 eninformatique (M2R), GETA/CLIPS, UJF, 13 septembre 2005, 103 p.

Parties de livres

Boitet C. (2001) Machine Translation. In "Encyclopedia of Cognitive Science", NaturePublishing Group, London, 16 p.

Boitet C. (2002) A roadmap for MT. In "Festschrift für Winfried Lenders", Bonn, 7 p.

Boitet C. (2005) Message Automata for Messages with Variants, and Methods for theirTranslation. In "Computational Linguistics and Intelligent Text Processing (Proc.CICLING-2005)", A. Gelbukh, ed., Springer (LNCS 3406), pp. 352-371.

Boitet C. (2005) Gradable quality translations through mutualization of humantranslation and revision, and UNL-based MT and coedition. In "UniversalNetworking Language, advances in theory and applications", J. Cardeñosa, A.Gelbukh & E. Tovar, ed., Research in Computing Science, IPN-CIC, ed., Mexico, 18p., pp. 393-410. (presented at the 2nd Workshop on UNL and Other Interlinguas)

Tomokiyo M. (2003) Analysis of Pragmatic Connectors of Oral Dialogues in Japanese"Katsumata", French "D'ailleurs" and English "besides". In "Selected papers onSemantic and cognitive Japanese linguistic", E. M. Eschbach-Szabo V., WlodarcyzkA. et Ikegami Y., ed., Kuroshio, Tokyo, Japan.

Tomokiyo M., Chollet G. & Hollard S. (2005) Studies of Emotional Expressions inOral Dialogues : towards an Extension of Universal Networking Language. In"Universal Networking Language, advances in theory and applications", J.Cardeñosa, A. Gelbukh & E. Tovar, ed., Research on computer science, InstututoPolitecnico Nacional, Mexico City, 12 p.

Rapports de contrats

Boitet C. (2002) Status report — UNL’02 — French team. UNL Language centersmeeting, 28/11/02, 14 p. (transparents)

Coletti P. T., Loredana; Blanchon, Hervé; Pianesi, Fabio; al. (2001) MultimedialSpace for First Showcase. Nespole! (IST-1999-1156) Internal Report, D7, ITC-irst,UKA, CMU, UJF, AETHRA, APT, 7 p.

Rapports de missions

Boitet C. (2001) Notes on the UNL'01 Symposium. UN, Geneva, 16-18/1/01, 16 p.

Boitet C. (2001) Notes on the MMA'01 Symposium. SigMatics & NII, Tokyo, 29-31/1/01,8 p.

Boitet C. (2002) Notes on the ICUKL'02 Symposium (Goa). ITB (Bombay), 25-29/11/02,14 p.


31/32

Rapports de recherche et rapports scientifiques

Boitet C. (2004) Progress report on building the French BTEC and participating in theMT evaluation campaign (CSTAR project). GETA, CLIPS, & ATR, August, 10 p.(rapport pour ATR)

Boitet C. (2003) Thèmes et projets du GETA. Journée scientifique du laboratoire CLIPS,Grenoble, 2/6/03, 7 p. (transparents)

Boitet C. (2003) Thèmes et projets du GETA. Rapport d'activité, GETA-CLIPS-IMAG, 7p. (transparents)

Boitet C. (2004) Perspectives du GETA en 2004-08. 10 juin, 60 p. (transparents)

Thèses

Berment V. (2004) Méthodes pour informatiser des langues et des groupes de langues«!peu dotées!». Thèse, UJF (thèse préparée au GETA, CLIPS), 18/5/04, 277 p.

Blanchon H. (2004) Comment définir, mesurer et améliorer la qualité, l'utilisabilité etl'utilité des systèmes de TAO de l'écrit et de l'oral : une bataille contre le bruit,l'ambiguïté et le manque de contexte. Habilitation à Diriger des Recherches,Université Joseph Fourier - Grenoble 1, 20 décembre, 356 p.

Brunet-Manquat F. (2004) Création d'analyseurs de dépendance par combinaisond'analyseurs syntaxiques Joseph Fourier - Grenoble 1, Décembre.

Chenon C. (2005) Vers une meilleure utilisabilité des mémoires de traduction, fondée surun alignement sous-phrastique. Thèse, UJF, 28/10/05, 230 p.

Gala N. (2003) Un modèle d'analyseur syntaxique robuste fondé sur la modularité et lalexicalisation de ses grammaires. Nouvelle thèse, Université de Paris-Sud.http://www-clips.imag.fr/geta/User/nuria.gala/Docs/these-gala03.pdf.gz

Lepage Y. (2003) De l'analogie rendant compte de la commutation en linguistique.Mémoire d'habilitation (HDR), UJF (thèse préparée à ATR, Japon), 23/05/03, 250p.

Mangeot M. (2001) Environnements centralisés et distribués pour lexicographes etlexicologues en contexte multilingue. Thèse, UJF (thèse préparée au GETA, CLIPS),27/9/01, 293 p.

Max A. (2003) De la création de documents normalisés à la normalisation de documentsen domaine contraint. Thèse, UJF (thèse préparée au GETA, CLIPS), 10/12/03,200 p.

Quint J. (2002) Spécification et réalisation d’un formalisme générique pour lasegmentation multiple de documents textuels multilingues. Thèse, UJF (thèsepréparée au GETA, CLIPS), 18/11/02, 200 p.

Teeraparbseree A. (2005) Méthode et outils pour la création et l'évaluationautomatiques de structures de bases lexicales multilingues (symétriques) à lexies etaxies. Thèse, UJF, 28/9/05, 166 p.

Tsai W.-J. (2004) La coédition langue – UNL pour partager la révision entre langues d’undocument multilingue. Thèse, UJF (thèse préparée au GETA, CLIPS), 9/7/04, 311p.

-o-o-o-o-o-o-o-o-o-o-


- 1 -

RAPPORT D'ACTIVITE

et PROJET SCIENTIFIQUE

Equipe GEOD(Groupe d'Etude sur l'Oral et le Dialogue)

Responsable : SERIGNAT, MCF-HC, INPG

1. PERSONNEL

Chercheurs : B. BIGI, J. CAELEN, E. CASTELLI.Enseignants-chercheurs : L. BESACIER, Y. FOUQUET, A. LECOMTE, J.F. SERIGNAT.Ingénieurs : N. EVENO, S. HOLLARD, M. VACHER.Doctorants : 8 + 1 CNAM

Nombre d'équivalents chercheurs (NE) : 9,87 (avec doctorants)

La liste détaillée des membres de l'équipe est fournie en annexe 1.

2. BILAN DES ACTIVITES DE RECHERCHE 01-05

2.1 Thématique scientifique et objectifs générauxDepuis plus d'une quinzaine d'années, les moyens de communication (téléphone mobile,

Internet) et les média de diffusion électronique de l'information (émissions de radio et detélévision numériques) ont connu un essor sans cesse croissant. Dans le même temps, leprogrès des techniques de traitement numérique de l'information et de la technologie descalculateurs a été gigantesque. Cette évolution a ouvert des perspectives prometteuses à denombreuses applications dans le domaine de la communication orale homme-machine ouhomme-homme médiatisée, mais aussi à des applications spécifiques dans le domaine médicalcomme la télésurveillance des malades à domicile (habitat intelligent). En parallèle, grâce à lafacilité de stockage due en partie à des algorithmes de compression très efficaces, les corpusde documents audio et vidéo ne cessent de croître. Pratiquement toute information multimédiase trouve aujourd'hui disponible sous format numérique et son exploitation ouvre le champ àde nouvelles applications d'indexation et de recherche de documents par le contenu.

Dans ce contexte, la thématique de recherche de GEOD est centrée sur l'InteractionOrale, articulée autour de deux axes scientifiques principaux : Reconnaissance (parole, audio


- 2 -

et locuteur) et Dialogue (modélisation et compréhension). Pour ces deux axes, subsistentencore un certain nombre de verrous liés à la généricité des modèles : cette caractéristiquereste un objectif essentiel, situé au centre de nos préoccupations de recherche pour le longterme. Pour l'axe Reconnaissance, les efforts de recherche de GEOD pendant la périodeconsidérée ont porté sur deux sous thèmes : (§2.1.1) la réalisation de systèmes dereconnaissance multilingue pour la parole continue et l’amélioration de leur robustesse,(§2.1.2) l'exploitation de la parole et des sons comme composante de l’interactionmultimodale dans les espaces perceptifs. Pour l'axe Dialogue, l'objectif a été (§2.1.3) ledéveloppement de systèmes de dialogue homme-machine multimodaux.

2.1.1. Reconnaissance robuste multilingue de la parole continue

Participants à ce thème de recherche : L. Besacier (Resp.), B. Bigi, E. Castelli, N. Eveno,V.B. Le, P. Mayorga-Ortiz, D. Moraru, Q.C. Nguyen, J.F. Serignat, T.P. Tan, Q. Vu-Minh, D.Vaufreydaz.Mots-clés : Reconnaissance de parole continue, robustesse, grand vocabulaire, modèleacoustique, modèle de langage, multilingue, transcription, transcription enrichie.

a) RésuméLes activités de recherche de GEOD dans ce thème se sont concentrées sur le

développement de modèles acoustiques multilocuteurs et de modèles de langage pour lesystème de reconnaissance automatique de parole continue en français du laboratoire.L'originalité réside dans l'approche qui consiste à "aspirer" un grand nombre de sites Webdans une langue donnée et à filtrer les données textuelles récupérées afin de les rendreexploitables pour calculer des modèles statistiques de langage. Une adaptation de cetteméthodologie à des langues peu dotées marque une tendance vers le multilinguisme qui prendune importance de plus en plus grande dans ces recherches. Une application à la languevietnamienne, d'une part et à la langue khmer, d'autre part, ont été envisagées et ont permisd'obtenir des résultats très encourageants. Des extensions de ce thème de recherche dans lesens d'une "transcription enrichie" (segmentation en locuteurs, détection de zones d'intérêt,détection de "jingles" audio,…) pour des applications de recherche d'information par lecontenu dans les bases de données ont aussi été envisagées. Enfin, des travaux pour desapplications en biométrie ont été menés en tenant compte du caractère souvent multimodal dudomaine.

b) Description détailléeLe développement de systèmes de reconnaissance multilingue de parole continue, grand

vocabulaire et multi-locuteur, vise des applications de reconnaissance en langage naturel, dansun contexte de dialogue finalisé homme-homme ou homme-machine (systèmes de dialogueou de traduction automatique pour le renseignement touristique ou pour le commerceélectronique). Les problèmes scientifiques couverts par cet axe de recherche sont ledéveloppement des modèles acoustiques multilocuteurs en environnement réaliste de travail(tenant compte aussi du canal de transmission, par exemple pour la voix téléphonique ou lavoix sur IP), la modélisation du langage, éventuellement adaptée à l'application et laportabilité rapide vers une nouvelle langue. Ils confèrent à cet axe de recherche un caractèrevéritablement pluridisciplinaire, sur lequel GEOD a concentré une part importante de sesefforts en développant un système de reconnaissance de parole continue efficace pour lefrançais (RAPHAEL : Reconnaissance Automatique de Phrases, d'Acronymes etd'Expressions Langagières, Thèse D. Vaufreydaz - 2002). Ce système, dont le schéma


- 3 -

d'ensemble est présenté figure 1, a été exploité avec succès dans divers projets internationauxde dialogue homme-homme multilingue médiatisé (CSTAR III, 2002-2006 et NESPOLE,2000-2002). Il a également été à la base du développement d'un ensemble de travaux derecherche menés à GEOD dans le sens du multilinguisme pour la portabilité rapide versd'autres langues (vietnamien, khmer) et dans le sens de l'indexation de documents audio pourla recherche par le contenu.

En ce qui concerne le vietnamien, GEOD a d'abord développé un système dereconnaissance en mots isolés (Thèse Q.C. Nguyen, 2002) dans le cadre de la coopérationscientifique du CLIPS avec l'Institut Polytechnique de Hanoi (IPH). En effet, le vietnamienest une langue tonale comportant 6 tons lexicaux, dans laquelle chaque syllabe est prononcéeavec un ton lexical distinct. Dans les langues tonales, pour reconnaître les mots, il faut réaliserla reconnaissance des syllabes prononcées avec le ton, c’est-à-dire réaliser deux processusparallèles de reconnaissance du ton et de reconnaissance de la syllabe sans le ton. Cette étudea aussi été à l'origine du démarrage des activités de recherche du Centre de RechercheInternational MICA, créé à Hanoi, fin 2001, sous l'impulsion d'Eric Castelli (en détachementCNRS depuis septembre 2001) et inauguré officiellement en novembre 2002.

Corpus signaux étiquetés

Corpus de texte

Modélisation acoustique

Modélisation du langage

Système de R.A.P

Dictionnaire phonétique

Signal

Phrase

Modèles acoustiques

Modèles de langage

Vocabulaire

signal

Bonjour Bonjour Monsieur !Monsieur !

Corpus signaux étiquetés

Corpus de texte

Modélisation acoustique

Modélisation du langage

Système de R.A.P

Dictionnaire phonétique

Signal

Phrase

Modèles acoustiques

Modèles de langage

Vocabulaire

signal

Bonjour Bonjour Monsieur !Monsieur !

Fig. 1 : Schéma d'ensemble de la reconnaissance automatique de la parole.

Pour développer un système de reconnaissance automatique de la parole continue dansune nouvelle langue, il est souvent nécessaire de rassembler une grande quantité de corpus,contenant à la fois des signaux de parole (pour l’apprentissage des modèles acoustiques dusystème) mais également des données textuelles (pour l’apprentissage des modèles de langagedu système). Pour une langue peu ou mal dotée il faut alors collecter soi-même les ressourcesnécessaires : signal de parole, lexique, corpus textuels.

L'originalité de la méthodologie mise au point à GEOD (V.B. Le, thèse en cours et L.Besacier, HDR en cours) consiste à adapter, aux langues peu dotées (vietnamien et khmerdans un premier temps), l'approche qui a déjà été validée pour une langue bien dotée, telle quele français (Thèse de D. Vaufreydaz, 2002). Concernant le recueil de données textuelles engrande quantité (figure 2), une approche intéressante consiste à “ aspirer ” un grand nombrede sites Web dans la langue donnée et à filtrer les données récupérées pour les rendreexploitables. Ces données textuelles peuvent servir d’une part à calculer des modèles delangages statistiques, et d’autre part à obtenir un corpus pouvant ensuite être prononcé par deslocuteurs en vue de la constitution d’une base de signaux conséquente.


- 4 -

Fig. 2 : Récupération de données textuelles en utilisant le Web.

Les problèmes spécifiques pour les langues peu dotées concernent le nombre de sitesWeb qui est souvent assez réduit, la vitesse de transmission et la qualité des documents quinécessitera alors plus d’outils de traitement. On pourra préférer des sites de nouvelles, au fortcontenu rédactionnel, tels que VNexpress1 par exemple pour le vietnamien. Afin de rendre lesdonnées exploitables, un certain nombre de traitements sont nécessaires tels que : 1)transformation html vers texte, 2) normalisation des tags, 3) conversion des encodages (nousavons choisi de tout convertir vers une représentation interne unique utilisant l’encodageUTF-8 d’Unicode), 4) séparation en phrases et 5) en mots, 6) groupement de mots composés,7) transcription des symboles et 8) filtrage en fonction d’un vocabulaire donné. Alors quecertains traitements peuvent être considérés comme relativement indépendants de la languecible (1-2-6-8), d’autres doivent être repensés (3-4-5-7) pour chaque nouvelle langue cible :par exemple la séparation en mots est triviale pour les écritures latines mais problématiquepour d’autres systèmes d’écriture comme le khmer, surtout si l’on ne dispose pas d’unvocabulaire (i.e. une liste de mots) au départ. Une boîte à outils open source rassemblantquelques uns de ces outils de traitement a été développée à GEOD2.

Cette méthodologie appliquée au vietnamien (décrite dans ACT-31, V.B. Le, 2003) apermis de collecter environ 2,5 Go de pages Web, ce qui, après filtrage, représente unequantité de données textuelles pouvant servir à l'apprentissage d'un modèle de langagestatistique d'environ 400 Mo (5 millions de phrases). A titre de comparaison, une annéecomplète du journal Le Monde en français correspond à 120 Mo en moyenne. Pour le khmer,qui est une langue encore moins dotée que le vietnamien, la collecte de ressources linguistiqueest plus difficile. Les travaux sont en cours dans le cadre de la collaboration avec l'ITC(Institut de Technologie du Cambodge) et la quantité de pages Web collectées estactuellement de 80 Mo (environ 6000 pages), ce qui reste encore faible et nécessite depoursuivre la collecte.

Pour le recueil de signaux de parole, GEOD a développé (depuis le début de ses travauxsur les ressources linguistiques pour la reconnaissance de parole) un outil logiciel ne mettanten œuvre que du matériel standard sur PC : EMACOP (Environnement Multimédia pourl'Acquisition et la gestion de Corpus Parole) (DEA de D. Vaufreydaz, 98). La plupart dutemps, les campagnes d’enregistrement mobilisent d'importantes ressources humaines pourguider ou assister les locuteurs dans leur tâche de diction, pour organiser l’enregistrement,pour préparer les scénarios et les données, etc. Il faut pouvoir contrôler les différents scénariospour varier les conditions de capture : la lecture d’un texte ou d’une suite de mots ou de motsisolés, la répétition après écoute d’une phrase, le dialogue en réponse à des questions, etc. Les

1 http://www.vnexpress.net2 http://www-clips.imag.fr/geod/User/viet-bac.le/outils/


- 5 -

méthodes d’acquisition rigoureusement contrôlées sont donc lourdes et les difficultés sontamplifiées dans le cas des langues mal dotées où les locuteurs ne sont pas forcément rôdés àl’utilisation de moyens informatiques. C’est pourquoi, le développement d’un utilitaireportable de gestion et d’acquisition de grands corpus sur un matériel standard est absolumentindispensable. Les interfaces ont été adaptées pour manipuler respectivement les caractèresvietnamiens et khmers. La figure 3 montre un exemple de l’interface d’EMACOP adaptéepour la langue khmère.

Fig. 3 : Interface EMACOP adaptée pour le Khmer

Un autre problème à résoudre pour développer un système de reconnaissanceautomatique de parole continue dans une langue peu dotée est la constitution d'un dictionnairede prononciation (ou dictionnaire phonétique) qui est une ressource essentielle pour lesystème et pour enrichir un dictionnaire bilingue, permettant au locuteur étranger de connaîtrela prononciation du mot en langue cible. Cette tâche est difficile pour des langues peu dotéesdont le système phonologique est parfois méconnu ou sujet à débats (langues peu ou maldécrites). Si nous excluons les méthodes manuelles de phonétisation qui, bien que donnant desdictionnaires de prononciation de meilleure qualité, sont longues et coûteuses, l'approcheautomatique la plus rapide que nous avons choisie pour notre méthodologie, utilise unsystème de reconnaissance phonémique appliqué sur des enregistrements de mots àphonétiser. On obtient ainsi un premier étiquetage automatique en phonèmes d'une liste demots qui peut être alors révisée par un opérateur humain. Il faut pour cela disposer d'unsystème de reconnaissance automatique de phonèmes, qui provient généralement d'une languesource bien dotée (par exemple, un système de reconnaissance des phonèmes du français).L'efficacité de la méthode dépend de la couverture phonémique de la langue cible par ledécodeur phonémique de la langue source, d'où la nécessité d'employer si possible desdécodeurs phonémiques multilingues, couvrant un maximum de phonèmes dans l'alphabetphonétique international. Pour le vietnamien par exemple, lorsque la langue source utilisée estle français, le taux de couverture au départ est d'environ 63%, ce qui n'est évidemment pasoptimal, mais conserve un intérêt comme "amorçage" de la méthode. Cependant, lorsqu'onpart de modèles acoustiques multilingues (ce qui fut fait dans le cadre d'un travail encollaboration avec CMU, lors d'un séjour de V.B. Le à Pittsburgh, en avril 2005), obtenus àpartir de 7 langues (chinois, croate, français, allemand, japonais, espagnol et turc) le taux decouverture du vietnamien atteint 87%. Ainsi, nous avons pu montrer pour le vietnamienqu’avec une quantité réduite de signaux en langue cible (2h), il est possible d’obtenir desperformances acceptables (63.8% de mots correctement reconnus à partir d’un modèlefrançais et 66.3% à partir d’un modèle multilingue), alors qu'il faudrait certainement 50 à 100fois plus de signaux en langue cible pour obtenir des performances comparables, sansadaptation à partir de la langue source.


- 6 -

Cependant, afin d'améliorer les performances du système de reconnaissanceautomatique du vietnamien, un corpus de parole vietnamien est toujours en coursd’enregistrement à MICA. A ce jour, il contient 35 locuteurs, 16 femmes et 19 hommes,venant des régions nord, centre et sud du vietnam. Chaque locuteur a enregistré environ 1heure de parole ce qui fait un total de 35 heures. Le corpus contient des séquences de lettres,de nombres et de mots isolés, mais aussi la lecture de phrases complètes et de paragraphes.Des détails supplémentaires sur les ressources collectées pour le vietnamien sont fournis dansACT-53 (V.B. Le, 2004) et une description détaillée des traitements et des expérimentationsassociées pour l'adaptation rapide de modèles acoustiques au vietnamien est donnée dansACT-68 (V.B. Le, 2005).

Une extension de l'axe de recherche reconnaissance automatique de la parole va dans lesens de la transcription enrichie qui consiste à produire un document structuré très riche eninformations à partir d'un signal audio brut. Cela inclut aussi la recherche d'éléments nonlinguistiques dans un flux audio qui fait appel à des techniques ou à des algorithmesexploitant des paramètres similaires à ceux utilisés en reconnaissance de parole. Lesapplications possibles sont l'indexation et la recherche d'informations par le contenu dans desdocuments audio ou audio-vidéo, avec souvent un contexte très fort de multimodalité.Plusieurs travaux ont été menés ou sont encore en cours à GEOD dans cet axe :

1). Segmentation en locuteurs (thèse de D. Moraru, 2004), travaux qui ont notammentpermis à GEOD de participer avec succès à plusieurs campagnes d'évaluation organisées parle NIST (SpRec 2002, RT 2003 et RT 2004) sur diverses catégories de documents sonores :données téléphoniques, journaux télévisés, données de réunions. Ces travaux ont été menés encoopération avec le laboratoire LIA d'Avignon.

2). Biométrie (recherche d'informations concernant le locuteur) dans le cadre de laparticipation à l’action européenne COST2753 ( Biometric Person Authentication over theInternet) de 2001 à 2003 (L. Besacier). Cette action a également servi de cadre expérimentalpour diagnostiquer les performances des systèmes de vérification automatique du locuteur (etde reconnaissance automatique de la parole) dans des conditions de pertes de paquets surréseaux (Voix sur IP) et de données compressées (thèse de P. Mayorga-Ortiz, 2005). Danscette même catégorie de travaux, se situe également l'étude de la cohérence entre le signal deparole et les mouvements labiaux du locuteur (biométrie labiale bimodale), effectuée par N.Eveno (2004-2005), post-doctorant accueilli à GEOD dans le cadre d'une ACI SécuritéInformatique du CNRS, projet BIOMUL (2003-2006) mené en coopération avec le laboratoireLIA d'Avignon.

3). Détection de "zones d'intérêt" intonatives dans le signal de parole (thèse de Q. Vu-Minh, en cours) qui peuvent fournir des informations de nature sémantique (phraseinterrogative, par exemple, que l'on pourrait exploiter dans un système de dialogue) ourenseigner sur l'état émotionnel du locuteur.

4). Détection de "jingles" audio ou de séquences sonores particulières dans un fluxaudio pouvant fournir des indices précieux de macrosegmentation d'un document audio ouaudio-visuel. Ces travaux ont été menés dans un contexte multimodal (fusion de modalitésaudio et vidéo) en coopération avec l'équipe MRIM du CLIPS et avec le laboratoire LIS-INPG pour la participation à des campagnes d'évaluation TREC-vidéo, organisées par NISTen 2002, 2003 et 2004. Par exemple, les tâches abordées dans ces campagnes, nécessitant la

3 http://www.fub.it/cost275/pages/_home_main/index.htm


- 7 -

fusion d'informations audio et vidéo, étaient la détection de changement de plan vidéo et la"segmentation en histoires" de documents audiovisuels.

5). Reconnaissance de diverses classes d'événements sonores sur des enregistrementsissus d'espaces perceptifs. Les enregistrements obtenus dans ces conditions possèdent desspécificités particulières et les travaux de recherche correspondants seront présentés en détailsdans le sous thème suivant (§ 2.1.2).

6). Pour terminer la description de ce sous thème de recherche, on citera enfin lestravaux effectués sur l'étude de la "parole audio-visuelle" dans le cadre du projet TELMA(2004-2006), financé en 2005 par un BQR INPG et mené en coopération avec les laboratoiresICP et LIS de l'INPG. Le projet a pour objectif technique précis d’exploiter la modalitévisuelle de la parole (lecture labiale), associée aux gestes de la Langue Française ParléeComplétée (LPC) pour un développement algorithmique de fonctionnalités audio-visuelles àl’usage des personnes malentendantes. L’étude de faisabilité de leur intégration dans unterminal autonome de télécommunication téléphonique fait aussi partie du projet.

2.1.2. Environnements perceptifs : la parole et les sons comme composantede l’interaction multimodale

Participants à ce thème de recherche : J.F. Serignat (Resp.), L. Besacier, E. Castelli, S.Chaillol, D. Istrate, D.D. Tran, D. Tuffelli, M. Vacher.Mots-clés : Traitement du signal, détection, segmentation, classification des sons, espaceperceptif, interaction…

a) RésuméDans ce thème sont décrits les travaux de recherche de GEOD sur la parole et sur les

sons, dans le contexte applicatif des espaces perceptifs et plus particulièrement dans le cadred'une coopération avec le laboratoire TIMC pour l'Habitat Intelligent pour la Santé (HIS).Dans les locaux de TIMC, un appartement (30m2) a été équipé pour devenir un HIS prototype.Divers algorithmes de détection et de classification des sons de la vie courante ont étédéveloppés et validés pour la détection de situations de détresse d'un patient soustélésurveillance médicale. De même, un modèle de langage pour le système de reconnaissancede parole de GEOD a été adapté pour la reconnaissance des appels de détresse dans cetenvironnement. Quelques développements pour des applications en "smart room" (salle deréunion) sont également présentés.

b) Description détailléeDepuis plusieurs années s'est développé le concept général d'espace perceptif ou de

salle intelligente dans lequel il s'agit de concevoir des salles (bureau d'étude, salle de réunion,cuisine, chambre hospitalière...) dotées de capteurs divers (microphones, caméras, détecteursde présence infra-rouge, micro-capteurs mobiles de signaux biologiques, etc.) gérés par unsystème informatique. Ce système analyse les signaux en temps réel et répond de diversesfaçons (alarmes sonores, réponses vocales…) aux besoins, demandes, attentes des acteurshumains. Depuis l’année 2000, GEOD a considéré que ce domaine, abordé sous l’angle del’interaction multimodale entre l’environnement et l'acteur humain, pouvait présenter unchamp d’expérimentation intéressant pour des recherches menées sur la reconnaissance de laparole mais aussi sur la détection et la reconnaissance d’événements sonores de naturesdiverses. Ce contexte pose des problèmes spécifiques de traitement car les dispositifsd'acquisition sonore ne sont généralement pas situés près des personnes.


- 8 -

Les premières recherches en ce sens ont été initiées par une coopération avec l’équipeAFIRM (N. Noury, V. Rialle) du laboratoire TIMC de l’UJF dans le cadre d’un projet detélésurveillance médicale pour personnes âgées ou en convalescence (RESIDE-HIS, achevéen 2001), subventionné par l’IMAG (Institut de Mathématiques Appliquées de Grenoble) etdans lequel GEOD était impliqué pour le traitement de la modalité sonore. Actuellement, lestravaux dans ce domaine se poursuivent à GEOD avec deux orientations principales : une endirection de l'Habitat Intelligent pour la Santé (HIS), l'autre plus particulièrement tournéevers des applications type "Smart Room" destinée aux réunions de travail.

Habitat Intelligent pour la Santé :L'Habitat Intelligent (parfois ramené au concept de chambre intelligente) en

télémédecine a pour but de détecter des chutes, malaises, appels vocaux, etc., et de transmettreces informations au personnel en charge des soins et de la sécurité. Cette approche consiste àinstaller au domicile de la personne des capteurs de divers types (sonores, physiologiques,actimétriques, de chute, environnementaux…) et à envoyer leurs signaux à un centre detélésurveillance, dont la fonction est de veiller à la sécurité de la personne et d’apporter uneréponse rapide et appropriée en cas de situation critique. A plus long terme et au-delà de cettefinalité de téléalarme, on peut envisager un véritable suivi en profondeur de l’évolutionphysique de la personne, comme la détection d’une altération de l’état général du patient, parexemple, grâce au calcul automatique d’indices de mobilité dans les activités quotidiennes.

Les travaux de GEOD dans ce domaine sont menés dans la continuation de lacoopération scientifique avec l'équipe AFIRM du laboratoire TIMC. Ils ont bénéficié d'unsoutien grâce à une ACI Santé du CNRS (projet DESDHIS, 2002-2004) et ont été réalisés àtravers la thèse de Dan Istrate (2003). Dans le bâtiment Jean-Roger de la Faculté de Médecinede Grenoble, à l'intérieur du laboratoire TIMC, un local destiné à l'installation d'un HabitatIntelligent pour la Santé (HIS), a été équipé pour constituer un prototype d'appartement(figure 4) de type T1 (environ 30 m2), comprenant les zones d'habitat classiques que sont lachambre, le séjour, la cuisine, les toilettes, la douche et un couloir. Cet appartement a étééquipé de capteurs sonores, physiologiques et de détecteurs de mouvement. La surveillancevidéo étant exclue, car elle peut être mal perçue par les patients, doit être remplacée par unesurveillance sonore dont le contenu informatif est moindre, ce qui, en conséquence, augmentela complexité des algorithmes de prise de décision (fusion de données). Une zone techniqueattenante à l'appartement a été ajoutée afin de recevoir le système informatiqued'expérimentation du projet. Une vitre sans teint séparant les deux parties autorise unesurveillance de l'habitat depuis la zone technique.

L'infrastructure matérielle du système d'acquisition de données dans cet habitat avait été

conçue et validée dans le cadre d'un projet précédent (RESIDE-HIS, déjà cité) et l'objectifgénéral du projet DESDHIS (DEtection de Situations de Détresse dans un Habitat Intelligentpour la Santé) était de développer et de valider l'algorithmique de traitement des signaux issusdes divers capteurs, GEOD s'impliquant essentiellement dans celui des signaux issus descapteurs sonores. Le but du traitement, en plus de déterminer la pièce où est localisée lapersonne, est de reconnaître parmi les sons de la vie courante, d'éventuels appels de détresseclairement formulés (au secours, appelez un médecin,…) ou d'identifier un bruit spécifiquepouvant être un indice d'une situation critique (chute, bris de verre, cri de douleur, etc…).

Le système d’analyse sonore exploite cinq entrées en parallèle et fonctionne en temps

réel, mais pour des contraintes liées à la préservation de la sphère privée, le signal est acquiset traité en temps réel, sans enregistrement. Le schéma global de l'organigramme de traitement


- 9 -

Fig. 4 : Habitat Intelligent Santé expérimental. (Salle 333 – TIMC-IMAG, Faculté de Médecine de Grenoble)

sonore est présenté figure 5. Après l'acquisition du signal et la détection puis la localisationd'un événement sonore, une segmentation du signal en parole/non-parole est opérée afin dediriger les signaux de parole sur le système RAPHAEL de reconnaissance automatique deparole et les sons (non-parole) sur un système de classification et de reconnaissance des sonsde la vie courante.

Fig. 5 : Synoptique global de l'algorithmique de traitement des signaux sonores.

Parole/NonParole

Segmentation

7


- 10 -

Pour la détection des événements sonores, plusieurs algorithmes ont été proposés dansla thèse de Dan Istrate (2003). Un des algorithmes se fonde sur la transformée en ondelettesdu signal. Cet algorithme présente de très bonnes performances dans l’environnement bruitéréel : un taux d’égal erreur de détection de 5.6% pour un niveau de bruit élevé (RSB=0 dB). Ilsemble mieux adapté au contexte applicatif où les sons à détecter sont majoritairementimpulsionnels (claquements de portes, bris de verres, chutes).

Pour la classification des sons de la vie courante, l’algorithme de classification utiliséest fondé sur les mélanges de gaussiennes (GMM); il a été étudié dans diverses conditions debruit ambiant et avec des valeurs du rapport signal à bruit comprises entre 0 dB et 40 dB.Comme la paramétrisation du signal est très importante pour une bonne classification dessons, l’étude des paramètres acoustiques adaptés aux sons de la vie courante a constitué l’axeprincipal de cette recherche. La méthodologie a consisté à évaluer par des méthodesstatistiques la pertinence des paramètres utilisés habituellement pour la détection de signauxmusicaux (nombre de passages par zéro, "roll-off point", barycentre spectral). Étant donné quela transformée en ondelettes est mieux adaptée à l’analyse de signaux impulsionnels, lapossibilité d’extraire des paramètres acoustiques à partir de cette transformée a été aussiétudiée. Le meilleur système présenté dans la thèse donne un taux d’erreur de classification de7.1% pour 7 classes de sons. D'autres résultats plus récents sur l'utilisation des coefficientsd'ondelettes pour la détection et la classification des sons de la vie courante sont donnés dansles communications ACT-61 et ACT-62 (M. Vacher et al., 2004).

Les problématiques liées au couplage entre la détection et la classification, ainsi que leproblème de l’évaluation d’un tel système sont aussi abordées dans ce travail. Dans ce but,une base de données des sons de la vie courante a dû être enregistrée : l'ensemble de la baseconstituée correspond à 3354 signaux d'une durée d'environ une heure et 35 minutes. Laméthodologie d'enregistrement et la description détaillée de cette base de sons de la viecourante sont présentées dans le chapitre 2 de la thèse de Dan Istrate. Une implémentation entemps réel des algorithmes proposés a été réalisée pour l’application de télésurveillancemédicale et a été validée dans l’appartement test disponible pour le projet. On trouvera unesynthèse détaillée de ces travaux dans le journal IEEE Transactions on InformationTechnology in Biomedicine (ACL-6, Istrate, 2005).

Dans les cas où le module de segmentation détecte des sons de parole, le systèmeRAPHAEL de reconnaissance automatique de parole continue est utilisé avec un modèle delangage à vocabulaire limité (environ 15000 mots), adapté à un contexte de télésurveillanceoù des appels de détresse peuvent survenir. Un corpus spécifique de parole a été enregistrépour pouvoir faire des évaluations précises des performances du système. Il comporte 126phrases courtes en français dont 64 correspondent à une situation normale (partie anodine :"Bonjour", "Où est le sel", etc…) et 64 sont des expressions de détresse (partie appels dedétresse : "Au secours", "Un médecin, vite !", "Appelez les pompiers !", etc..). Ce corpus a étéprononcé et enregistré par 21 locuteurs (11 hommes, 10 femmes), dans une tranche d'âge de20 à 65 ans. La durée totale de parole enregistrée correspond à environ 38 minutes de paroleet représente 2646 fichiers de signal. Quelques tests (intuitifs) du système de reconnaissancede parole avec son modèle de langage adapté à ce corpus ont été faits avec un locuteur parlantde manière spontanée dans le local et semblent prometteurs. Cependant une évaluationglobale et rigoureuse sur l'ensemble du corpus enregistré reste a faire pour pouvoir donner desrésultats chiffrés, également en faisant varier les conditions de bruit ambiant. Leregroupement de tous les modules du système et leur intégration sur une même station detravail (PC-3GHz) est en cours et devrait nous permettre prochainement d'effectuer cesévaluations.


- 11 -

Smart Room :Quelques travaux de recherche sur la parole comme composante de l'interaction

multimodale ont été menés à GEOD pour une application de type "smart room" utiliséecomme salle de réunion. Lorsqu’elle est issue d’une "smart room", la parole présente lesspécificités suivantes:- la parole de réunion est complètement spontanée, ceci conduit à la présence d’une grandequantité de phénomènes spécifiques à l’oral comme les hésitations, les faux départs (débutd’un mot prononcé une ou plusieurs fois avant le mot complet), etc…- on trouve souvent des recouvrements entre la parole de plusieurs locuteurs qui parlent enmême temps,- le bruit de fond peut être important (voix de fond, chuchotements, bruit de la ventilationd’un vidéoprojecteur, …),- il y a non plus un seul, mais potentiellement plusieurs enregistrements issus de multiplesmicrophones disposés dans toute la salle- dans le cas où les participants ne disposent pas d’un micro casque ou bouche, les locuteurspeuvent alors être à une distance importante des microphones placés au plafond ou sur latable; ceci a pour conséquence de diminuer la qualité des signaux enregistrés.

Cette recherche s'est concrétisée d'une part, dans la participation à un projet RNRTCOUCOU (Conception participative Orientée Usage de services de Communication etd’objets Ubiquistes) entre 2002 et 2004 et, d'autre part, dans la participation à des campagnesd'évaluation NIST (SpeakerRec 2002, RT 2004 et RT 2005) consacrées aux enregistrementsde réunions (meetings) (travaux déjà cités au §2.1.1)

Le projet COUCOU a été effectué en coopération avec l'équipe MULTICOM du CLIPSmais dans lequel intervenaient également le CNRS-MSH, le CEA-IDEAS LAB, FranceTélécom R&D et ST Microelectronics. Le but de ce projet était, entre autres, de spécifier etcommencer à implémenter deux salles intelligentes de réunions (au CEA et au CLIPS)équipées d’outils avancés de prise de notes et de post-traitement des données enregistrées.L'implication de GEOD sur ce projet a concerné les aspects audio (AP-13, L. Besacier, 2004).Ces spécifications ont permis à la "smart room" du CLIPS de voir le jour à partir d'octobre2005 dans les nouveaux locaux du CTL4 à Grenoble.

2.1.3. Développement de systèmes de dialogue H-M multimodaux

Participants à ce thème de recherche : J. Caelen (Resp.), P. Dominguez, Y. Fouquet, S.Hollard, M. Kurdi, A. Lecomte, N.H. Nguyen, A. Ouayouch, V. Popescu, V.T. Tran, A.Xuereb.Mots-clés : Dialogue HM, interaction HM, modèle de dialogue, négociation, acte de dialogue,attente en dialogue, DQR.

c) Résumé (entre _ de page et _ page)

d) Description détaillée

4 Centre des Technologies du Logiciel


- 12 -

2.2 Résultats majeurs

Les acquis de GEOD sont des plates-formes matérielles et logicielles qui ont étédéveloppées ou dont GEOD a acquis la maîtrise au cours de ses activités de recherche, maisaussi des corpus (écrits et oraux) produits ou recueillis au cours de divers travaux derecherche et réutilisables dans d’autres applications ou projets. Parmi les résultats principauxon peut citer :

• JANUS : Tous les systèmes de reconnaissance automatique de la parole du laboratoire ontété développés grâce à la partie JANUS-Recognition-Toolkit (JRTk) de la boite à outils JanusIII, développé dans le laboratoire ISL (Interactive System Laboratory) des universités deKalsruhe (Allemagne) et Carnegie Mellon (USA). La plate-forme Janus contient tous lescomposants nécessaires au développement d'un système de reconnaissance phonémique à basede Modèles de Markov Cachés. Janus offre un langage de programmation puissant qui permetde manipuler les structures de données internes et d'écrire des procédures complexes de hautniveau. Le langage de programmation de Janus utilise Tcl/Tk étendu avec des classes d'objetset leurs méthodes.

• RAPHAEL : système de "Reconnaissance Automatique de Phrases, d'Acronymes etd'Expressions Langagières" est le système de reconnaissance automatique de parole continue"de référence" du CLIPS (vocabulaires : de 6000 à 65000 mots), construit sur la plate-formelogicielle JANUS III. Il a été mis en œuvre avec succès dans divers contrats internationaux(CSTAR, NESPOLE) de dialogue homme-machine ou homme-homme médiatisé en contextemultilingue.

• ELISA : C'est une plate-forme commune de développement conçue par le consortiumELISA. Le consortium ELISA a été fondé en 1997 par le LIA (Avignon), l'ENST (Paris) etl'IRISA (Rennes), autofinancé par ses participants, avec pour objectif de faciliter lesrecherches coopératives en reconnaissance du locuteur ainsi que la participation deslaboratoires francophones aux campagnes d'évaluations internationales telles que lescampagnes NIST. Le laboratoire CLIPS (GEOD) a rejoint le consortium en 2001 et utilisecette plate-forme pour ses recherches depuis cette époque. La partie modélisation de la plate-forme ELISA permet d'estimer les paramètres de modèles de mélanges de gaussiennes(GMM) avec des matrices diagonales ou pleines. Plusieurs méthodes d'adaptation de modèlespar maximum a posteriori (MAP) sont également disponibles avec cette plate-forme. Lemodule de décision permet quant à lui le calcul de vraisemblances associées à chaque modèlepour un corpus de test considéré. Actuellement, la plate-forme est en phase de ré-écriture sousla forme d’une boîte à outils (en licence GPL) nommée ALIZE5 et une première version estdéjà disponible sous forme de logiciel libre.

• EMACOP : "Environnement Multimédia pour l'Acquisition de COrpus de Parole",

5 http://www.lia.univ-avignon.fr/heberges/ALIZE


- 13 -

développé sur une architecture client-serveur, permet de conduire, de façon fiable etreproductible, de larges sessions d'enregistrement de corpus. Ce logiciel est utilisé dans toutesles campagnes d'enregistrement de corpus oraux nécessaires pour l'apprentissage oul'évaluation des systèmes et des versions ont été adaptées à certaines langues étrangères(vietnamien, khmer).

• MELINA : Plate-forme d'intégration d'une infrastructure de gestion générique de dialoguedédié au service d'organisation de réunions, composée de sept modules principaux :reconnaissance de parole, compréhension sémantique, interpréteur pragmatique, contrôleur dudialogue intégrant un module Expert de gestion de négociations, contrôleur de la tâche,générateur textuel, et synthétiseur de parole. L'architecture possède les fonctionnalitéspermettant d'aborder la gestion de dialogue multi-sessions.

• CORPUS : Dans cette catégorie, en ne citant que les principaux, nous pouvons distinguer lescorpus produits (BRAF100, SONS de la vie courante, DETRESSSE) et les corpus recueillisou achetés ( BREF80, BREF120, AURORA, LE MONDE : années 1987-1991, 1992-1995,1996-1999, 2000-2002).

3. ACTIVITES D’ENCADREMENT

3.1 Thèses soutenues depuis le 01/10/01La liste des thèses est fournie dans le tableau en annexe 2. Voir les informations sur les sujetsau paragraphe 5.

3.2 Thèses et HDR en coursThèses :CHAILLOL Stéphane, Détection et classification de sons dans un habitat intelligent pour lasanté, Thèse CNAM, contrat formation Assedic, inscription 01/09/05.DOMINGUEZ Patricia, Modélisation du dialogue H-M, généricité, ED MSTII, UJF, bourseCONACYT, première inscription 01/10/04.LE Viet-Bac, Portabilité rapide d'un système de reconnaissance automatique de la parole àdes langues faiblement dotées en corpus, ED MSTII, UJF, bourse d’excellence Eiffel,première inscription 01/10/02.OUAYOUCH Anas, Jeu de négociation en langage naturel, ED MSTII, UJF, salarié,première inscription 01/10/05.POPESCU Vladimir, Dialogue pertinent Homme-Machine : génération des réponses oralesen langage naturel, ED MSTII, UJF, (Co-tutelle Fac. Electronique Bucarest), bourse MIRA,première inscription 01/10/05.TAN Tien-Ping, Reconnaissance du français pour des locuteurs non natifs, ED MSTII, UJF,bourse du gouvernement Malais, première inscription 01/10/04.TRAN Do-Dat, Synthèse à partir du texte en vietnamien, ED SIPT, INPG, bourse AUF,première inscription 01/10/03.TRAN Vu-Truc, Pragmatique computationnelle, ED EDISCE, UPMF, (Co-tutelle INP-


- 14 -

Hanoi), bourse MAE, Ambassade de France au Vietnam, première inscription 01/10/04.VU-MINH Quang, Détection de zones d'intérêt intonatives dans un flux audio, ED MSTII,UJF, (Co-tutelle INP-Hanoi), bourse MAE, Ambassade de France au Vietnam, premièreinscription 01/10/03.

HDR :BESACIER Laurent, Transcription enrichie de documents dans un monde multilingue etmultimodal, ED MSTI, UJF, soutenance 2006.

4. COLLABORATION ET VALORISATION

4.1 Principales relations scientifiques hors contrats

GEOD entretien des relations scientifiques suivies depuis plusieurs années avec lecentre MICA créé en 2001 à l'Institut Polytechnique de Hanoi (IPH). A l'origine, la créationde cet Institut de Recherche fut un essaimage du laboratoire CLIPS sous l'impulsion etl'organisation d'Eric Castelli, en détachement CNRS et directeur-adjoint de ce centre depuiscette époque. Cette coopération se concrétise par l'accueil réciproque de chercheurs invités etpar des thèses en co-tutelle .Accueil de chercheurs de GEOD au centre MICA :ÿ Jean Caelen - visite le 12 mars 2002.ÿ Dominique Vaufreydaz - du 24 août au 14 septembre 2002.ÿ Laurent Besacier - du 16 novembre au 29 novembre 2002.ÿ Viet Bac Le - du 1er juin au 31 juillet 2003.ÿ Laurent Besacier - Février 2005.ÿ Brigitte Bigi - du 14 octobre au 30 octobre 2005.ÿ …à compléter…

Accueil de chercheurs du centre MICA à GEOD : depuis la création du centre Mica à Hanoi,fin 2001, Eric Castelli effectue régulièrement des séjours à Grenoble, de une à deux semainespar an, pour coordonner la coopération scientifique entre les deux groupes. D'autreschercheurs de MICA ont également été accueillis à GEOD :ÿ Eric Castelli et Dr Pham Thi Ngoc Yen - séjour d'une semaine en mars 2003.ÿ Dr Loan TRINH VAN - séjour d'une semaine en novembre 2004.ÿ …à compléter…

Autres échanges nationaux ou internationaux :ÿ Viet Bac Le, mission à CMU, Pittsburgh - du 28/02/05 au 24/03/05.ÿ Tien-Ping Tan, mission au LPL, Aix-en-Provence, du 6/11/05 au 2/12/05.ÿ Laurent Besacier, mobilité internationale à IBM, New York, oct. 2005 à sept. 2006.

Thèses en co-tutelle en cours entre GEOD (INP et UJF, Grenoble) et le centre MICA (INPHanoi) :ÿ Do-Dat TRAN, Synthèse à partir du texte en vietnamien, première inscription 01/10/03.ÿ Vu-Truc TRAN, Pragmatique computationnelle, première inscription 01/10/04.


- 15 -

ÿ Quang VU-MINH, Détection de zones d'intérêt intonatives dans un flux audio, premièreinscription 01/10/03.

GEOD accueille régulièrement des doctorants roumains grâce aux contacts privilégiésentretenus avec le Professeur Corneliu Burileanu, de la Faculté d'Electronique de Bucarest.Cette coopération scientifique s'est concrétisée par la soutenance de deux thèses effectuées àGEOD et une thèse en co-tutelle en cours :ÿ Dan ISTRATE, Détection et reconnaissance des sons pour la surveillance médicale, Thèse

INPG-SIPT, soutenue à Grenoble le 15 décembre 2003.ÿ Daniel MORARU, Segmentation en locuteurs de documents audios et audiovisuels :

application à la recherche d'information multimedia, Thèse INPG-SIPT, soutenue àGrenoble le 20 décembre 2004.

ÿ Vladimir POPESCU, Modèle de dialogue, co-tutelle en cours, première inscription01/10/05.

4.2 Contrats institutionnels

GEOD a été impliqué dans plusieurs contrats institutionnels, nationaux etinternationaux. Une présentation synthétique des contrats les plus marquants est donnée ci-après :

Contrats internationaux

Projet Européen NESPOLE & Consortium C-STAR

Depuis 2000, GEOD s'est impliqué, en collaboration avec le GETA, dans deux projets detraduction automatique de parole dont le CLIPS était partenaire : CSTAR (Consortium forSpeech Translation Advanced Research) et NESPOLE (Negotiating Through SPOkenLanguage in E-commerce). Le but des recherches menées au sein de ces projets était latraduction automatique de parole spontanée avec tous les couples de langues possibles entreles différents partenaires. La contribution de GEOD était surtout de fournir l’étage dereconnaissance automatique de la parole pour le français, développé avec le systèmeRAPHAEL.

Action COST275 (Biometric Person Authentication over the Internet)

Entre 2001 et 2004, GEOD a participé à l’action européenne COST 275 traitant de labiométrie. Sa contribution s'est située notamment au niveau du sous-groupe “ évaluation ” del’action, qui a été co-animé par L. Besacier avec J-F Bonastre (LIA-Avignon).

Projets CORUS (Traitement de la parole en langue vietnamienne) et TALK (TraitementAutomatique de la Langue Khmère)

Ces deux projets, soutenus par le MAE (Ministère des Affaires Etrangères) ou par l’AUF(Agence Universitaire pour la Francophonie), concrétisent une collaboration qui existe depuispresque 5 ans entre le CLIPS et le centre MICA à Hanoi, et (plus récemment) l’Institut deTechnologie du Cambodge (ITC) sur le domaine du traitement automatique du vietnamien etdu khmer. L'implication de GEOD dans ces projets concerne d'une part, la reconnaissance


- 16 -

automatique de la parole pour le vietnamien et le khmer et d'autre part, la synthèse duvietnamien.

Contrats nationaux

Projets RNRT PVE (Neurosoft, CLIPS, Novadis, IBM), 2002-03 et COUCOU (CNRS-MSH,CLIPS, CEA, FT-R&D, ST Microelectronics), 2002-04

Le laboratoire CLIPS (équipes MULTICOM et GEOD), a participé à deux projets RNRTexploratoires, PVE (Portail Vocal d'Entreprise) entre 2002 et 2003 et COUCOU (Conceptionparticipative Orientée Usage de services de Communication et d’Objets Ubiquistes) entre2002 et 2004. Dans le premier, la contribution de GEOD s’est située au niveau de la mise enœuvre de procédures d’expérimentation et d’évaluation ergonomique pour la qualification desperformances linguistiques d’un système de dialogue vocal, notamment avec la méthodeDQR. Cette expérimentation s’est faite dans le cadre de la réalisation d’un démonstrateur d’unsystème de dialogue générique pour une classe d’applications de communication en entreprise(interrogation de l’annuaire du personnel, gestion de l’agenda des groupes de travail et gestionpersonnelle du courrier électronique). Le projet COUCOU, auquel GEOD à participé encollaboration avec l’équipe MULTICOM du CLIPS, a permis de spécifier et commencer àéquiper deux salles intelligentes de réunions (au CEA et au CLIPS) équipées d’outils avancésde prise de notes et de post-traitement des données enregistrées. La contribution de GEOD àce projet a été focalisée principalement sur les aspects audio (équipement et traitement) d’unesalle intelligente.

Projet RNTL pré-compétitif ACE (As An Engel, La Cantoche, CLIPS), 2003-04

Le projet ACE avait pour but de produire un prototype d’un agent conversationnel expressif(Angela 1.0) destiné à faciliter la communication avec l’utilisateur dans le cadre d’un dialoguehomme-machine. La contribution de GEOD, en coopération avec l’équipe MULTICOM, sesitue au niveau de la modélisation du système de dialogue, du recueil de corpus de dialoguesfinalisés dans le cadre d’une expérimentation avec magicien d’Oz.

Projet Technolangue AGILE/ALIZE (CLIPS, LIA, DDL, IRISA, IRIT, ENST), 2003-04

Le projet ALIZE consistait à réaliser une plateforme logiciel libre en vérification automatiquedu locuteur. L’objectif était de pérenniser le savoir-faire du consortium ELISA, acquis grâce àdes participations continues aux campagnes d’évaluations NIST depuis 1998, aux entrepriseset laboratoires académiques qui souhaitaient se lancer dans la vérification automatique dulocuteur. La contribution de GEOD sur ce projet a concerné la segmentation en locuteurs :participation à des campagnes d’évaluation (NIST, ESTER) et ré-écriture du système existantà GEOD en utilisant la plateforme ALIZE.

Projet ACI-Santé DESDHIS (CLIPS, TIMC), 2002-04

Dans le cadre d’une ACI Technologies pour la Santé du CNRS, l’équipe GEOD a mené, encoopération avec le laboratoire TIMC de l’UJF, le projet DESDHIS (DEtection de Situationsde Détresse dans un Habitat Intelligent pour la Santé) dont l'objectif global était laconception, la mise au point et l'expérimentation d'un dispositif de télé-surveillance médicales’appuyant sur l'utilisation de capteurs sonores, de capteurs de déambulation et d'activité.Cette étude visait à apporter une aide sécuritaire au maintien à domicile de personnes fragiles


- 17 -

(personnes âgées ou en convalescence). Dans ce projet, la contribution de GEOD a portéessentiellement sur le traitement du signal sonore (détection et segmentation parole/non-parole en milieu bruité, reconnaissance de classes de sons, reconnaissance de parole) dans lebut de reconnaître des événements sonores susceptibles de caractériser une situation dedétresse de la personne sous télésurveillance.

Projet ACI-SI BIOMUL (CLIPS, EURECOM, LIA, INT), 2003-06

Ce projet est financé par le CNRS sur l’ACI Sécurité Informatique (BIOMUL : Biométrie etMultimodalités). Dans ce cadre, GEOD a pu accueillir un post-doctorant au CLIPS (NicolasEveno, issu du laboratoire LIS/INPG) pour travailler sur la biométrie labiale bimodale. Aucours de ce projet, la problématique de reconnaissance du locuteur dans des environnementsperceptifs a également été abordée.

BQR INPG 2003 “ Vidéo-Sémantique ” (CLIPS, LIS, LSR)

Ce projet financé par l’INPG avait pour but de fédérer les collaborations entre troislaboratoires grenoblois dans le domaine de l’indexation multimédia. La contribution deGEOD, en collaboration avec l'équipe MRIM du CLIPS, a concerné le traitement automatiquede la bande son de documents vidéo et la participation annuelle aux campagnes d’évaluationTREC-Vidéo.

BQR INPG 2004-2005 “ TELMA ” (CLIPS, LIS, ICP)

Ce projet financé par l’INPG vise à l’étude et au développement algorithmique defonctionnalités audio-visuelles originales à l’usage des personnes malentendantes, et à l’étudede faisabilité de leur intégration dans un terminal autonome de télécommunicationtéléphonique. Le projet a pour objectif technique précis d’exploiter la modalité visuelle de laparole, d’une part pour améliorer les techniques de débruitage du son de parole (laminimisation du bruit environnemental permettant une meilleure exploitation des “restes”auditifs des malentendants), et d’autre part, en mettant en œuvre des techniquesd’analyse/synthèse de lecture labiale et de gestes de la Langue Française Parlée Complétée(LPC).

Projet ACI-SI BIOMUL (CLIPS, EURECOM, LIA, INT), 2003-06

Ce projet est financé par le CNRS sur l’ACI Sécurité Informatique (BIOMUL : Biométrie etMultimodalités). Dans ce cadre, GEOD a pu accueillir un post-doctorant au CLIPS (NicolasEveno, issu du laboratoire LIS/INPG) pour travailler sur la biométrie labiale bimodale. Aucours de ce projet, la problématique de reconnaissance du locuteur dans des environnementsperceptifs a également été abordée.

La liste complète des contrats institutionnels est fournie dans le tableau en annexe 4.

4.3 Contrats (co)financés par un industriel

Trois contrats financés par un industriel (Thomson Multimédia, Prosodie et Thalès) ont


- 18 -

été réalisés par GEOD dans la période considérée. La nature de ces trois contrats étaitsensiblement la même. Le projet de convention portait sur une expertise et un développementmenés conjointement par GEOD et le partenaire industriel (Thomson, Prosodie ou Thalès)dans le but de réaliser un système de reconnaissance automatique de la parole et de lecomparer à un système de reconnaissance vocale de référence. La contribution de GEODconsistait à accompagner le développement du système au niveau de la réalisation d’un état del’art sur la reconnaissance du point de vue des méthodes et des algorithmes, de l’apport dedonnées d’apprentissage exploitables pour la modélisation acoustique (étiquetage completd’une base d’apprentissage), de conseils techniques dans le développement (choix desparamètres acoustiques, modèles acoustiques, recherche des hypothèses et modèle de langage)et du suivi scientifique dans le développement du système de reconnaissance en prenantcomme point d’appui les résultats du système RAPHAEL de GEOD pour comparer et validerles résultats à toutes les étapes de la reconnaissance. Le système propriétaire réalisé parProsodie, avec l’aide de GEOD, est actuellement en exploitation dans quelques serveursvocaux interactifs de la société.

La liste détaillée des contrats à financement industriel est fournie dans le tableau en annexe 4.

5. PUBLICATIONS (01-05)

On trouvera en annexe 3 des indicateurs de production scientifique

Articles dans des revues avec comité de lecture internationales et nationales (ACL)

Revues internationales :Année 2001

1. A. Lecomte, “Partial Proof-Nets, Hybrid Logics and Minimalist Representations”,Grammars, vol. vol. 3, n° 2-3, pp. 243-257, 2001.

Année 20032. L. Besacier, J. F. Bonastre, P. Mayorga-Ortiz, C. Fredouille and S. Meignier, “Overview

of compression and packet loss effects in speech biometrics”, IEE Proceedings Vision,Image & Signal Processing - Special Issue on Biometrics on the Internet, vol. 150, n°6,pp. 372-376, December, 2003.

Année 20043. L. Besacier, M. Ariyaeeinia, J.S. Mason, J.F Bonastre, P. Mayorga, C. Fredouille, S.

Meignier, J. Siau, N.W.D. Evans, R. Auckenthaler, R. Stapert, “Voice Biometrics Overthe Internet in the Framework of COST Action 275”, EURASIP Journal on SignalProcessing, vol. 4, pp. 466-479, April 2004.

Année 20054. C. Fredouille, D. Moraru, S. Meignier, J. F. Bonastre and L. Besacier, “Step-by-Step

and Integrated Approaches in Broadcast News Speaker Diarization”, To appear inComputer Speech and Language Journal (Elsevier), 2005.

5. D. Istrate, E. Castelli, M. Vacher , L. Besacier and J. F. Serignat , “Medical


- 19 -

Telemonitoring System Based on Sound Detection and Classification”, To appear inIEEE Transactions on Information Technology in Biomedicine, 2005.

6. A. Xuereb and J. Caelen, “Actes de langage et relations rhétoriques dans le dialoguehomme-machine”, in Revue de l'Université de Moncton, Canada, sous presse : 2005.

Revues nationales :Année 2001

7. J. Rouillard, “Dialogue et multimodalité”, Revue RIHM, vol. 2, n°1, pp. 97-125, 2001.

Année 20058. A. Xuereb and J. Caelen, “Speech Acts and Rhetorical Relations in Man-Machine

Dialogue”, in Presses Universitaires de Nancy, à paraître : 2005.

Articles dans des revues sans comité de lecture (SCL)

Année 20011. E. Castelli and G. Nguyen Trong, “Le Centre de Recherche International MICA”,

Bulletin franco-vietnamien du P.F.I.E.V., vol. n° 4, pp. 10-12, novembre 2001.

Année 20022. J. Caelen and L. Rodet, “Internautes votre regard vous trahit”, in Le Figaro, Paris, 20

février 2002.3. J. Caelen, “Les laboratoires d’usage”, in CNRS Info, n° 402, spécial Innovation-

Valorisation, juin 2002.4. J. Caelen, “Le CNRS crée le premier laboratoire d’usage”, Revue des Techniques de

l’Ingénieur, vol. n° 27, Sept./Oct./Nov. 2002.5. J. Caelen and L. Rodet, “Les mouvements oculaires de l’internaute utilisés pour juger

les sites Web”, in LeMonde Sciences, Paris, 22 novembre 2002.6. J. Caelen and P. Mallein, “Article collectif sur les objets communicants”, 01

Informatique, n° 1701, 22 novembre 2002.7. C. P. Nguyen and E. Castelli, “Utilisation du son pour la surveillance dans un

appartement intelligent en médecine”, in Automation Today (revue vietnamienne), vol.24, juin 2002, pp. 10-11 (article en vietnamien).

Année 20038. J. Caelen, “CLIPS place la dimension humaine au centre de ses recherches”, in Revue

Présences, Magazine économique de la Chambre de Commerce et d’Industrie deGrenoble, mai 2003, pp. 39, http://www.presences-grenoble.fr/.

Année 20049. J. Caelen, “La plate-forme Multicom”, in La lettre de l'INPG, n° 04-2, juin 2004.10.J. Caelen, “La plate-forme Multicom, pour inventer les usages des objets communicants

du futur”, in Papyrus, le magazine de l'Université Joseph Fourier, octobre 2004.


- 20 -

Conférences invitées (INV)

Conférences d'audience internationaleAnnée 2002

1. L. Besacier, R. Lamy, P. Mayorga-Ortiz and D. Vaufreydaz , “Remote Recognition:speech coding and packet loss problems”, Guilin (China), Ed.: C-STAR III Workshop,March 2002.

2. J. Caelen, “Stratégies de dialogue”, in Colloque International Logique et Dialogue,Grenoble, octobre 2002.

3. D. Vaufreydaz, “Tutorial at ESSLLI'02 (European Summer School in Logic, Languageand Information)”, in Recent Advances in Speech Translation Systems Workshop: ASRand Scalability, Trento (Italy), August 2002.

Conférences d'audience nationaleAnnée 2001

4. J. Caelen, “L'ergonomie des documents électroniques : catalogues en ligne,documentation technique, e-learning”, Conférence France Telecom R&D, ZIRST,Meylan (France), octobre 2001.

5. J. Caelen, “Dialogue et Internet”, Conférence à l'Université du Québec, Trois-Rivières,Canada, octobre 2001.

6. J. Caelen, “Dialogue adaptatif”, Conférence à l'Université Laval, Québec, Canada,octobre 2001.

7. D. Vaufreydaz, “Méthodes automatiques de calcul et de repondération de modèles delangages statistiques par l'utilisation d'Internet”, Laboratoire d'Informatique d'Avignon(LIA), Avignon, mai 2001.

Année 20028. S. Hollard, “Analyse de documents par oculométrie”, in Journée Scientifique du Pôle

Rhône-Alpes de Sciences Cognitives, Archamps (France), 8 mars 2002.9. D. Vaufreydaz, “Modélisation statistique du langage à partir d'Internet pour la

reconnaissance automatique de la parole continue”, in Laboratoire LORIA, Nancy,Février 2002.

10. D. Vaufreydaz, “Reconnaissance de la parole spontanée continue au laboratoireCLIPS”, in Laboratoire GRAVIR (Graphisme, Vision et Robotique), Montbonnot(France), Juin 2002.

11. D. Vaufreydaz, “Reconnaissance automatique de la parole grand vocabulaire”, inLaboratoire MICA (Multimedia Information, Communication and Applications), Hanoi(Vietnam), Septembre 2002.

12. D. Vaufreydaz, “Modélisation statistique du langage à partir d'Internet pour lareconnaissance automatique de la parole continue”, in Laboratoire MICA (MultimediaInformation, Communication and Applications), Hanoi (Vietnam), Septembre 2002.

Année 200313. J. Caelen, “Modèle de dialogue générique et portail vocal”, in Séminaire “Expression

et communication en interface homme-machine”, Paris, Ed.: Université Paris VIII, 11mars 2003.

14. J. Caelen, “Dialogue homme-machine générique”, in Séminaire du LIMSI, Orsay, 24avril 2003.

15. Lecomte and C. Retoré, “Sémantique dans les grammaires minimalistes”, in JournéesSémantique et Modélisation, GDR Sémantique CNRS, Paris, 2003.


- 21 -

Année 200416. J. Caelen, “La conception participative : enjeux et méthodes”, in 2ème Conférence

Internationale des Chercheurs Vietnamiens et Francophones en Informatique, Hanoi,Vietnam, février 2004.

17. J. Caelen, “Conception participative”, in Séminaire du LIMSI, Orsay, France, 4 mai2004.

18. J. Caelen, “Evaluation des sites Internet par oculométrie”, in Atelier CIDE, LaRochelle, juin 2004.

19. J. Caelen, “Ergonomie des agents conversationnels expressifs”, in Séminaire LIP6,Paris, juin 2004.

20. J. Caelen, “Conception participative des objets interactifs : principes, méthodes etinstrumentation”, in Ecole d'été TIC et société, CNRS, Carry le Rouet, 2004.

21. J. Caelen, “Modèles de dialogue pour l'interaction”, in 16ème Conférence francophonesur l'Interaction Homme-Machine (IHM'04), Namur, Belgique, 30 août-3sept. 2004.

22. A. Lecomte, “Pré-groupes et minimalisme”, presented at Séminaire du LABRI, Lab.LABRI, Bordeaux, 18 février 2004,

23. A. Lecomte, “Vers des Assistants-LEcteurs INtelligents (VALEIN)”, in JournéeProgrammes Interdisciplinaires PI-TCAN, Centre National de la Recherche Scientifique(CNRS), Paris, 13 octobre 2004.

Communications avec actes internationales et nationales (ACT)

Conférences d'audience internationaleAnnée 2001

1. L. Besacier, C. Bergamini, D. Vaufreydaz and E. Castelli , “The Effect of Speech andAudio Compression on Speech Recognition Performance”, presented at MMSP 2001,IEEE Multimedia Signal Processing Workshop, Cannes, October 3-5, 2001, pp. 301-306.

2. L. Besacier, H. Blanchon, Y. Fouquet, J. P. Guilbaud, S. Helme, S. Mazenot, D. Moraruand D. Vaufreydaz, “Speech Translation for French in the NESPOLE! EuropeanProject”, presented at Eurospeech 2001, Aalborg, Danemark, September 3-7, 2001, pp.1291-1294.

3. S. Burger, L. Besacier, P. Coletti, F. Metze and C. Morel, “The NESPOLE! VoIPDialogue Database”, presented at Eurospeech 2001, Aalborg, Danemark, September 3-7,2001, pp. 2043-2046.

4. E. Castelli and D. Istrate, “Multichannel Audio Acquisition for Medical Supervision inan Intelligent Habitat”, presented at ECCTD 2001, 15th European Conference onCircuit Theory and Design, Helsinski, Finland, August 28-31, 2001, pp. II-1 II-4.

5. D. Istrate and E. Castelli, “Multichannel Sound Acquisition with Stress SituationsDetermination for Medical Supervision in a Smart House”, in Text, Speech andDialogue, P. Faculty of Applied Sciences, Ed., Zelezna Ruda, Czech Republic:Springer-Verlag, september, 2001, pp. 266-272.

6. D. Istrate and E. Castelli, “Everyday Life Sounds and Speech Analysis for a MedicalTelemonitoring System”, presented at Eurospeech 2001, Aalborg, Danemark, September3-7, 2001, pp. E15 2417.

7. M. Z. Kurdi, “A spoken language understanding approach which combines the parsingrobustness with the interpretation deepness”, presented at IC-AI01, InternationalConference on Artificial Intelligence 2001, Las Vegas, USA, June 25-28, 2001, pp.


- 22 -

1143-1149.8. A. Lecomte and C. Retoré, “Extending Lambek Grammars : a logical account of

Minimalist Grammars”, presented at 39th Annual Meeting of the Association forComputational Linguistics (ACL), Toulouse, France, July 9-11, 2001, pp. 354-362.

9. A. Lecomte, “Semantic Representations in Logic for Minimalism”, presented atWorkshop on Logic and Language (JoLL'2001), Seville, Spain, Nov. 29-Dec.1, 2001,pp. 155-162.

10. Q. C. Nguyen, N. Y. Pham-Thi and E. Castelli, “Shape vector characterization ofVietnamese tones and application to automatic recognition”, presented at ASRU2001(Automatic Speech Recognition and Understanding Workshop), Madonna di Campiglio,Trento, Italy, December 9-13,2001, pp. 4 (on CDROM).

11. D. Vaufreydaz, L. Besacier, C. Bergamini and R. Lamy , “From generic to task-oriented speech recognition: French experience in the NESPOLE! European project”,presented at ITRW Workshop on Adaptation Methods for Speech Recognition, Sophia-Antipolis, France, August, 29-30, 2001.

12. D. Vaufreydaz and M. Gery, “Internet Evolution and Progress in Full AutomaticFrench Language Modelling”, presented at ASRU2001 (Automatic Speech Recognitionand Understanding Workshop), Madonna di Campiglio, Trento, Italy, December 9-11,2001, pp. 4 (on CDROM).

Année 200213. J. Y. Antoine, C. Bousquet-Vernhettes, J. Goulian, M. Z. Kurdi, S. Rosset, N.

Vigouroux and J. Villaneau, “Predictive and objective evaluation of speechunderstanding: the "challenge" evaluation campaign of the I3 speech workgroup of theFrench CNRS”, presented at Third International Conference on Language Ressourcesand Evaluation (LREC'02), Las Palmas (Spain), May 29 – 31, 2002, pp. 529 - 536.

14. L. Besacier, P. Mayorga-Ortiz, J. F. Bonastre and C. Fredouille, “Methodology forEvaluating Speaker Verification Robustness over IP Networks”, presented at COST275Workshop on The Advent of Biometrics on the Internet, Rome, Italy, November 7-8,2002.

15. M. Gery, M. H. Haddad and D. Vaufreydaz, “Web as Huge Information Source forNoun Phrases Integration in the Information Retrieval Process”, presented atInternational Conference on Information and Knowledge Engineering (IKE'02), LasVegas - Nevada (USA), June 2002, pp. 72-77.

16. M. H. Haddad, M. Gery and D. Vaufreydaz, “Le Web : une source d'information pourl'intégration de multi-termes dans un processus de Recherche d'Information”, presentedat Journées Francophones d'Accès Intelligent aux Documents Multimédias sur l'Internet(MediaNet 2002), Sousse (Tunisia), june 2002, pp. 257-268.

17. M. Z. Kurdi, “Combining pattern matching and shallow parsing techniques fordetecting and correcting spoken language extragrammaticalities”, presented at 2ndWorkshop on RObust Methods in Analysis of Natural language Data (ROMAND 2002),Frascati-Rome (Italy), July 17, 2002, pp. 1-9.

18. M. Z. Kurdi and M. Ahafhaf, “Toward an objective and generic Method for SpokenLanguage Understanding Systems Evaluation: an extension of the DCR method”,presented at Third International Conference on Language Ressources and Evaluation(LREC'02), Las Palmas (Spain), May 29-31, pp. 545-550.

19. A. Lecomte, “A minimal logic for minimalism”, presented at 3rd and the 4thInternational Symposium on Language, Logic and Computation, Amsterdam (TheNetherlands), 2002.

20. A. Lecomte, “Bi-grammars for the interface between syntax and semantics”,


- 23 -

presented at Formal Grammar 2002 Conference, Trento (Italy), August 2002, pp. 67-79.21. P. Mayorga-Ortiz, R. Lamy and L. Besacier, “Recovering of packet loss for distributed

speech recognition”, presented at Eusipco 2002, Toulouse, septembre 2002.22. G. M. Quenot, D. Moraru, L. Besacier and P. Mulhem, “CLIPS-IMAG at TREC-11 :

Experiments in Video Retrieval”, presented at 11th Text Retrieval Conference,Gaithersburg, MD, USA, November 19-22, 2002.

23. S. Rossato, H. Blanchon and L. Besacier, “Speech-to-speech translation systemevaluation : results for French for the Nespole! Project first showcase”, presented atICSLP2002, Denver, USA, September 2002.

24. L. Villasenor-Pineda, M. Montes-y-Gomez, M. Perez-Coutino and D. Vaufreydaz,“Comparación léxica de corpus para generación de modelos de lenguaje”, presented atIBERAMIA workshop on Multilingual Information Access and Natural LanguageProcessing, Sevilla (Spain), November 2002, pp. 6 pages.

Année 200325. B. Bigi, “Using Kullback-Leibler Distance for Text Categorization”, presented at 25th

European Conference on Information Retrieval Research, Pisa (Italy), 2003, pp. 305-319.

26. J. Caelen, “Strategies of Dialogue”, presented at Speech Technology and Human-Computer Dialogue Conference, Bucarest, 10-11 avril 2003, pp. 27-42.

27. E. Castelli, M. Vacher, D. Istrate , L. Besacier and J. F. Serignat , “HabitatTelemonitoring System Based on the Sound Surveillance”, presented at ICICTH(International Conference on Information Communication Technologies in Health),Samos Island, Greece, July 13-15, 2003, pp. 141-146.

28. D. Istrate, G. Virone, M. Vacher, E. Castelli and J. F. Serignat , “Communicationbetween a Multichanel Audio Acquisition and an Information System in a Health SmartHome for Data Fusion”, presented at IMSA 2003 : 7th IASTED InternationalConference on Internet and Multimedia Systems and Applications, Honolulu, Hawaii,August 13-15, 2003.

29. M. Z. Kurdi and M. Ahafhaf, “A Grammar Based Method for Systematic and GenericSpoken Language Understanding Systems Evaluation”, presented at NLPKE 2003 :International Conference on Natural Language Processing and Knowledge Engineering,Beijing Media Center (China), October 26-29, pp. 498-505.

30. R. Lamy and L. Besacier, “Non-Linear Acoustical Pre-Processing for MultipleSampling Rates ASR and ASR in Noisy Condition”, presented at NOLISP'03 (ISCAtutorial and research workshop on non-linear speech processing), Le Croisic (France),May 20-23, 2003, pp. 57-60.

31. V. B. Le, B. Bigi, L. Besacier and E. Castelli , “Using the Web for Fast LanguageModel Contruction in Minority Languages”, presented at Eurospeech'2003, Geneva,Switzerland, September 1-4, 2003.

32. A. Lecomte, “Y a-t-il une logique de la classification ?”, presented at Congrès deISKO-France (International Society of Knowledge Organisation), Grenoble, juillet2003.

33. A. Lecomte, “A Computational Approach to Minimalism”, presented at ICON'2003(International Conference on Natural Language), Mysore, India, December 19-21, 2003.

34. H. Le-Xuan, L. Trinh-Van and E. Castelli, “Automatic Synthesis of Vietnamese byconcatenation of Diphones”, presented at ICT-rda'03 Conference (InformationTechnology & Communication, Research, Development and Applications), Hanoi(Vietnam), February 22-23, 2003, pp. 317-322 (article en vietnamien).

35. N. Mana, S. Burger, R. Cattoni, L. Besacier, V. Mac Laren, J. McDonough and F.


- 24 -

Metze, “The NESPOLE! VoIP Multilingual Corpora in Tourism and MedicalDomains”, presented at Eurospeech'2003, Geneva, Switzerland, September 1-4, 2003.

36. P. Mayorga-Ortiz, L. Besacier, L. Lamy and J. F. Serignat , “Audio Packet Loss overIP and Speech Recognition”, presented at ASRU 2003 (Automatic Speech Recognition& Understanding), Virgin Islands, USA, Nov. 1-Dec. 4, 2003, pp. 607-612.

37. P. Mayorga-Ortiz, L. Besacier and R. Villa, “Perdida de datos en conexiones IP y suinfluencia en recocnocimiento de voz”, presented at ELECTRO 2003 (XXV CongresoInternacional de Engenieria Electronica), Chihuahua, Chi. (Mexico), Octubre 27-31,2003.

38. D. Moraru and L. Besacier, “Towards Conversational Model for SpeakerSegmentation”, presented at Speech Technology & Human-Computer Dialogue,Bucharest, Roumanie, April 10-11, 2003, pp. 69-78.

39. D. Moraru, S. Meignier, L. Besacier, J. F. Bonastre and I. Magrin-Chagnolleau, “TheELISA Consortium Approaches in Speaker Segmentation during the NIST 2002 SpeakerRecognition Evaluation”, presented at ICASSP'2003, Hong-Kong, China, May 2003.

40. H. Nguyen and J. Caelen, “Generic manager for spoken dialogue systems”, presentedat DIABRUCK 2003 : 7th Workshop on the Semantics and Pragmatics of Dialogue,Saarbrucken (Deutchland), September 4-6, 2003, pp. 201-202.

41. P. B. Nguyen, L. Trinh-Van and E. Castelli, “Real Time System for IsolatedVietnamese Digits Recognition”, presented at ICT-rda'03 Conference (InformationTechnology & Communication, Research, Development and Applications), Hanoi(Vietnam), February 22-23, 2003, pp. 310-316 (article en vietnamien).

42. M. Vacher, D. Istrate, L. Besacier, E. Castelli and J. F. Serignat, “Smart Audio Sensorfor Telemedicine”, presented at Smart Objects Conference (SOC) 2003, Grenoble, 15-17 Mai, 2003, pp. 222-225.

43. M. Vacher, D. Istrate, L. Besacier , J. F. Serignat and E. Castelli , “Life SoundsExtraction and Classification in Noisy Environment”, presented at SIP 2003 : 5thIASTED International Conference on Signal and Image Processing, Honolulu, Hawaii(USA), August 13-15, 2003.

44. L. Villasenor-Pineda, M. Montes and J. Caelen, “Un Modelo para la ConversaciónMultimodal Hombre-Máquina: Integración del Habla y la Acción”, presented atCongreso Latinoamericano de Interacción Humano-Computadora, Rio de Janeiro(Brasil), August 17-20, 2003.

45. L. Villasenor-Pineda, M. Montes-y-Gomez, M. Perez-Coutino and D. Vaufreydaz, “ACorpus Balancing Method for Language Model Construction”, presented at FourthInternational Conference on Intelligent Text Processing and Computational Linguistics(CICLing-2003), Mexico City (Mexico), February 16-22, 2003, pp. 393-401.

46. L. Villasenor-Pineda, M. Montes-y-Gomez, D. Vaufreydaz and J. F. Serignat,“Elaboracion de un Corpus Balanceado para el Calculo de Modelos Acusticos usandola Web”, presented at XII Congreso Internacional de Computacion CIC'03, Mexico City(Mexico), October 13-17, 2003.

47. G. Virone, D. Istrate, M. Vacher, J. F. Serignat, N. Noury and J. Demongeot, “FirstSteps in Data Fusion between a Multichannel Audio Acquisition and an InformationSystem for Home Healthcare”, presented at 25th Annual International Conference of theIEEE Engineering in Medicine and Biology Society, Cancun (Mexico), September 17-21, 2003, pp. 1364-1367.

Année 200448. L. Besacier, G. Quenot, S. Ayache and D. Moraru, “Video Story Segmentation with

Multi-Modal Features: Experiments on TRECvid 2003”, presented at 6th ACM SIGMM


- 25 -

International Workshop on Multimedia Information Retrieval, New York, USA,October 15-16, 2004.

49. B. Bigi, Y. Huang and R. De Mori, “Vocabulary and Language Model Adaptationusing Information Retrieval”, presented at International Conference on SpokenLanguage Processing (ICSLP 2004), Jeju Island, Korea, October 4-8, 2004, 2, pp. 1361-1364.

50. C. Fredouille, D. Moraru, S. Meignier, L. Besacier and J. F. Bonastre, “The NIST 2004Spring Rich Transcription Evaluation : Two Axis Merging Strategy in the Context ofMultiple Distance Microphone Based Meeting Speaker Segmentation”, presented atRT2004 Spring Meeting Recognition Workshop, Montreal, Canada, May 17, 2004.

51. D. Istrate, M. Vacher, E. Castelli and C. P. Nguyen, “Sound Processing for HealthSmart Home”, presented at 2nd International Conference on Smart Homes and HealthTelematic, Singapore, September 15-17, 2004, pp.

52. D. Istrate, M. Vacher and J. F. Serignat , “Multichannel Smart Sound Sensor forPerceptive Spaces”, presented at Complex Systems Intelligence and ModernTechnology Applications (CSIMTA 2004), Cherbourg, France, September 19-22, 2004,pp. 691-696.

53. V. B. Le, D. D. Tran, E. Castelli, L. Besacier and J. F. Serignat, “Spoken and WrittenLanguage Ressources for Vietnamese”, presented at Fourth International Conference onLanguage Ressources and Evaluation (LREC 2004), Lisbonne, Portugal, May 26th-28th, 2004, 2/5, pp. 599-602.

54. S. Meignier, D. Moraru, C. Fredouille, L. Besacier and J. F. Bonastre, “Benefit ofPrior Acoustic Segmentation for Speaker Segmentation Systems”, presented atInternational Conerence on Acoustics Speech & Signal Proecessing (ICASSP 2004),Montreal, Canada, May, 2004.

55. D. Moraru, S. Meignier, C. Fredouille, L. Besacier and J. F. Bonastre, “The ELISAConsortium Approaches in Broadcast News Speaker Segmentation during the NIST2003 Rich Transcription Evaluation”, presented at International Conerence onAcoustics Speech & Signal Proecessing (ICASSP 2004), Montreal, Canada, May, 2004.

56. D. Moraru, L. Besacier and E. Castelli , “Using a priori information for speakerdiarization”, presented at The Speaker and Language Recognition Workshop, Toledo,Spain, May 31-June 4th, 2004.

57. D. Moraru, S. Meignier, C. Fredouille, L. Besacier and J. F. Bonastre, “ELISA NISTRT03 Broadcast News Speaker Diarization Experiments”, presented at The Speaker andLanguage Recognition Workshop, Toledo, Spain, May 31-June 4th, 2004.

58. D. Moraru, L. Besacier, S. Meignier, C. Fredouille and J. F. Bonastre, “SpeakerDiarization in the ELISA Consortium over the past 4 Years”, presented at RT2004 FallWorkshop, Montreal, Canada, November, 2004.

59. H. Nguyen and J. Caelen, “Multi-Session Management in Spoken Dialogue System”,presented at IBERAMIA 2004, Puebla, Mexico, Noviembre 22-26, 2004.

60. M. Vacher, D. Istrate, L. Besacier and J. F. Serignat , “Sound Detection andClassification for Medical Telesurvey”, presented at 2nd Conference on BiomedicalEngineering (BIOMED 2004), Innsbruck, Austria, February 16-18, 2004, pp. 395-398.

61. M. Vacher, D. Istrate and J. F. Serignat, “Sound Detection and Classification throughTransient Models using Wavelet Coefficient Trees”, presented at 12th European SignalProcessing Conference (EUSIPCO 2004), Vienna, Austria, September 6-10, 2004, pp.1171-1174.

62. M. Vacher, D. Istrate and J. F. Serignat , “Sound Detection through Transient Modelsusing Wavelet Coefficient Trees”, presented at Complex Systems Intelligence andModern Technology Applications (CSIMTA 2004), Cherbourg, France, September 19-


- 26 -

22, 2004, pp. 367-372.63. L. Villasenor-Pineda, M. Montes-y-Gómez, D. Vaufreydaz and J. F. Serignat,

“Experiments on the Construction of a Phonetically Balanced Corpus from the Web”,presented at Conference on Intelligent Text Processing and Computational LinguisticsCICLing-2004, Lecture Notes in Computer Science, Springer-Verlag, Seoul (Korea),February 2004, vol. 2945, 4 p.

64. Q. Vu-Minh, L. Besacier, E. Castelli, B. Bigi and H. Blanchon, “Interchange format-based language model for automatic speech recognition in speech-to-speechtranslation”, presented at RIVF'04 (Recherche Informatique Vietnam-Francophonie),Hanoi, Vietnam, February 2-5, 2004, 1/1, pp. 47-50.

Année 200565. N. Eveno and L. Besacier, “A Speaker Independent "Liveness" Test for Audio-Visual

Biometrics”, presented at 9th European Conference on Speech Communication andTechnology (INTERSPEECH 2005), Lisbon (Portugal), September 4-8, 2005, pp. 3081-3084.

66. D. Istrate, M. Vacher and J. F. Serignat , “Détection et classification des sons :application aux sons de la vie courante et à la parole”, presented at GRETSITraitement du signal et des images, Louvain-la-Neuve, Belgique, 6-9 septembre 2005,pp. 485-488.

67. V. B. Le, D. D. Tran, L. Besacier , E. Castelli and J. F. Serignat , “First Steps inBuilding a Large Vocabulary Continuous Speech Recognition System for Vietnamese”,presented at 3ème Conférence Internationale en Informatique - Recherche, Innovation &Vision du Futur (RIVF2005), Université de Can Tho (Vietnam), 21-24 février 2005, pp.330-333.

68. V. B. Le and L. Besacier, “First Steps in Fast Acoustic Modeling for a New TargetLanguage: Application to Vietnamese”, presented at IEEE International Conference onAcoustics, Speech and Signal Processing (ICASSP'05), Philadelphia (USA), March 19-23, 2005, Vol. 1, pp. 821-824.

69. B. Senechal, D. Pellerin, L. Besacier, I. Simand and S. Brès, “Audio, Video and Audio-Visual Signatures for short Video Clip Detection: Experiments on Trecvid2003”,presented at IEEE International Conference on Multimedia and Expo (ICME'05),Amsterdam (The Netherlands), July 6-8, 2005.

70. M. Tomokiyo, G. Chollet, S. Hollard, "Semantic Representations of EmotionsConsidering Speech Acts of Utterances in Oral Dialogues", presented at PacificAssociation for Computational Linguistics (PACLING2005), Tokyo, Japan, August 24-27, 2005.

71. D. D. Tran, E. Castelli, J. F. Serignat , V. L. Trinh and X. H. Le, “Influence of F0 onVietnamese Syllable Perception”, presented at 9th European Conference on SpeechCommunication and Technology (INTERSPEECH 2005), Lisbon (Portugal), September4-8, 2005, pp. 1697-1700.

72. M. Vacher, D. Istrate, J. F. Serignat and N. Gac , “Detection and Speech/SoundSegmentation in a Smart Room Environment”, presented at The 3rd Conference onSpeech Technology and Human-Computer Dialogue (SpeD 2005), Cluj-Napoca(Romania), May 13-14, 2005, pp. 37-48.

73. L. Villasenor-Pineda, V. B. Le, M. Montes-y-Gomez and M. Perez-Coutino, “TowardAcoustic Models for Languages with Limited Linguistic Resources”, presented at 6thInternational Conference on Intelligent Text Processing and Computational Linguistics(CICLing-2005), Mexico City (Mexico), February 13-19, 2005, Vol. 3406, pp. 433-436.

74. Q. Vu-Minh, L. Besacier, E. Castelli and N. Y. Pham, “A Decision Tree-Based


- 27 -

Method for Speech Classification into Question and NonQuestion”, presented at 3èmeConférence Internationale en Informatique - Recherche, Innovation & Vision du Futur(RIVF2005), Université de Can Tho (Vietnam), 21-24 février 2005, pp. 306-309.

Conférences d'audience nationaleAnnée 2001

75. E. Castelli, D. Istrate, V. Rialle and N. Noury, “Information Extraction from Speech inStress Situation. Application to the Medical Supervision in a Smart House.”, presentedat ORAGE 2001, Oralité et Gestualité - Interactions et comportements multimodauxdans la communication., Aix-en-Provence, 18-22 juin 2001, pp. 362-371.

Année 200276. J. Y. Antoine, S. Letellier-Zarshenas, P. Nicolas, I. Schadle and J. Caelen, “Corpus

OTG et ECOLE_MASSY : vers la constitution d'une collection de corpus francophonesde dialogue oral diffusée librement”, presented at 9ème Conférence sur le TraitementAutomatique des Langues Naturelles (TALN'2002), Nancy, France, 24-27 juin, 2002,pp. 6 pages.

77. R. Lamy and L. Besacier, “Adaptation spectrale par quantification vectorielle :exemple de la RAP à fréquences d’échantillonnage multiples”, presented at XXIVèmesJournées d’Etude sur la Parole (JEP'2002), Nancy, 24-27 Juin 2002, pp. 321-324.

78. D. Moraru and L. Besacier, “Segmentation en locuteurs de conversations sur IP”,presented at XXIVèmes Journées d'Etude sur la Parole (JEP'2002), Nancy, Juin 2002.

79. Q. C. Nguyen and E. Castelli, “Caractérisation et reconnaissance automatique destons du vietnamien”, presented at RFIA 2002 (Reconnaissance des Formes etIntelligence Artificielle), Angers, 8-10 janvier 2002.

80. Y. Pham-Thi-Ngoc, E. Castelli and Q. C. Nguyen, “Gabarits des tons vietnamiens”,presented at XXIVèmes Journées d’Etude sur la Parole (JEP'2002), Nancy, Juin 2002,pp. 23-26.

81. S. Rossato, H. Blanchon and L. Besacier, “Évaluation du premier démonstrateur detraduction de parole dans le cadre du projet NESPOLE!”, presented at Congrès TALN(Traitement Automatique du Langage Naturel), Nancy, Juin 2002.

Année 200382. J. Caelen, “Stratégies de dialogue”, presented at Conférence MFI’03 (Modèles

Formels de l’Interaction), Lille, mai 2003.83. J. Caelen, V. Eglin, S. Hollard and B. Meillon, “Mouvements oculaires et évaluation

de documents électroniques”, presented at CIDE-6, 6ème Colloque sur le DocumentElectronique, Caen, 24-26 novembre 2003, pp. 107-135.

84. A. Nait-Abdallah and A. Lecomte, “Un modèle de raisonnement avec propositionsimplicites”, presented at Journées sur les Nouveaux Modèles de Raisonnement, Paris,27-28 novembre 2003.

85. H. Nguyen, “Vers une architecture générique de système de dialogue oral homme-machine”, presented at RECITAL 2003 (Rencontre des Etudiants Chercheurs enInformatique pour le Traitement Automatique des Langues), Batz sur Mer, 11-14 juin2003, pp. 539-545.

Année 200486. H. Blanchon and L. Besacier, “Traduction de dialogue : résultat du projet NESPOLE!

et pistes pour le domaine”, presented at XIème Conférence sur le Traitement


- 28 -

Automatique du Langage Naturel (TALN'04), Session Poster, Fès, Maroc, 19-21 avril2004.

87. J. Caelen and H. Nguyen, “Gestion de buts de dialogue”, presented at XIèmeConférence sur le Traitement Automatique du Langage Naturel (TALN'04), Fès, Maroc,19-21 avril 2004, pp. 345-350.

88. J. Caelen and F. Jambon, “Conception participative par "moments"”, presented at16ème Conférence Francophone sur l'Interaction Homme-Machine (IHM'04), Namur,Belgique, 30 août-3 sept. 2004, pp. 29-36.

89. Y. Fouquet, “Prédiction d'actes et attentes en dialogue : expérience avec un assistantvirtuel simulé”, presented at XIème Conférence sur le Traitement Automatique duLangage Naturel (TALN'04), Fès, Maroc, 19-21 avril 2004, pp. 193-198.

90. R. Lamy, D. Moraru, B. Bigi and L. Besacier , “Premiers pas du CLIPS sur lesdonnées d'évaluation ESTER”, presented at 25èmes Journées d'Etude sur la Parole (JEP2004), Fès, Maroc, 19-22 avril 2004, pp. 301-304.

91. A. Lecomte, “Derivations as Proofs”, presented at Colloque Categorial Grammar(CG'04), Montpellier, 7-11 juin 2004.

92. A. Lecomte and M. Amblard, “Syntax and Semantics Interacting in a MinimalistTheory”, presented at Journée de Sémantique et Modélisation (JSM'04), ENS, Lyon,mars 2004.

93. D. Moraru, S. Meignier, C. Fredouille, L. Besacier and J. F. Bonastre, “Segmentationselon le locuteur : les activités du Consortium ELISA dans le cadre de NIST RT03”,presented at 25èmes Journées d'Etude sur la Parole (JEP 2004), Fès, Maroc, 19-22 avril2004, pp. 389-392.

94. S. A. Selouani and J. Caelen, “Un système hybride pour l'identification de traitsphonétiques complexes de la langue arabe”, presented at 25èmes Journées d'Etude surla Parole (JEP 2004), Fès, Maroc, 19-22 avril 2004, pp. 449-452.

95. Q. Vu-Minh, L. Besacier, H. Blanchon and B. Bigi, “Modèle de langage sémantiquepour la reconnaissance automatique de parole dans un contexte de traduction”,presented at XIème Conférence sur le Traitement Automatique du Langage Naturel(TALN'04), Session Poster, Fès, Maroc, 19-21 avril 2004.

96. A. Xuereb and J. Caelen, “Un modèle d'interprétation pragmatique en dialoguehomme-machine basé sur la SDRT”, presented at XIème Conférence sur le TraitementAutomatique du Langage Naturel (TALN'04), Fès, Maroc, 19-21 avril 2004, pp. 505-514.

Année 200597. L. Besacier, V. B. Le, E. Castelli , S. Sethserey and L. Protin, “Reconnaissance

automatique de la parole pour les langues peu dotées : application au Vietnamien et auKhmer”, presented at TALN 2005 : 12ème Conférence Annuelle sur le TraitementAutomatique des Langues Naturelles, Workshop Traitement des Langues peu dotées,Dourdan (France), 6-10 juin 2005, Vol. 2, pp. 207-217.

98. J. Caelen and H. Nguyen, “Vers un dialogue collectif avec la machine”, presented atTroisièmes Journées Francophones Modèles Formels de l'Interaction (MFI'05), Caen(France), 25-27 mai 2005, pp. 211-216.

99. Y. Fouquet and J. Caelen, “Deux plate-formes pour l'expérimentation d'un agentconversationnel animé”, presented at WACA'01 : Premier Workshop francophone surAgents Conversationnels Animés, Grenoble, 13-14 juin 2005.

100. A. Lecomte and A. Naït-Abdallah, “Scalar Implicatures and Logic of PartialInformation”, presented at Journée de Sémantique et Modélisation (JSM'05), Paris, 18mars 2005.


- 29 -

101. A. Lecomte and A. Naït-Abdallah, “On Expressing Vague Quantification and ScalarImplicatures in the Logic of Partial Information”, presented at Workshop LogicalAspects of Computational Linguistics (LACL'05), Bordeaux, April 2005.

102. D. Moraru, L. Besacier, G. Quenot and S. Ayache, “Speaker and Story SegmentationUsing Audio-Video Information”, presented at The 3rd Conference on SpeechTechnology and Human-Computer Dialogue (SpeD 2005), Cluj-Napoca (Romania),May 13-14, 2005.

103. A. Xuereb and J. Caelen, “Topiques Dialogiques”, presented at TALN 2005 : 12èmeConférence Annuelle sur le Traitement Automatique des Langues Naturelles, Dourdan(France), 6-10 juin 2005, Vol. 1, pp. 273-282.

Communications sans actes (COM)

Année 20011. Y. Fouquet, “De l'étude de dialogues oraux unilingues dans une langue non maternelle”,

in Quatrièmes Rencontres Jeunes Chercheurs en Parole (RJC), Mons, Belgique, Ed.:Groupe Francophone de la Communication Parlée (GFCP), 11-14 septembre 2001.

2. D. Istrate and E. Castelli, “Multichannel Sound Acquisition with Stress SituationsDetermination for Medical Supervision in a Smart House”, in TSD 2001, 4thInternational Conference Text, Speech and Dialogue, Zelezna Ruda, Czech Republic,September 11-13, 2001.

3. D. Istrate and Q.-C. Nguyen, “Room Echo Cancellation for Speech Recognition”, inICASSP 2001, Student Forum, Salt Lake City, Utah, USA, May 6-11, 2001.

4. R. Lamy, “Adaptation de modèles acoustiques pour la reconnaissance automatique de laparole”, in Quatrièmes Rencontres Jeunes Chercheurs en Parole (RJC), Mons,Belgique, Ed.: Groupe Francophone de la Communication Parlée (GFCP), 11-14septembre 2001.

5. Q.-C. Nguyen, D. Istrate and J. Barton, “Blind Source Separation”, in ICASSP 2001,Student Forum, Salt Lake City, Utah, USA, May 6-11, 2001.

Année 20036. Y. Fouquet, “Le magicien d'Oz pour du dialogue oral : expérience avec un assistant

virtuel en entreprise”, presented at Cinquièmes Rencontres Jeunes Chercheurs enParole, Grenoble, 23-26 septembre 2003.

Année 20057. S. Hollard, M. Tomokiyo, D. Tuffelli, "Une approche de l'expression orale des

émotions. Etude d'un corpus réel", Communication affichée, 4èmes journées delinguistique de corpus, Lorient, France, 15-17 septembre 2005.

Ouvrages scientifiques (ou chapitres) (OS)

Année 20011. A. Lecomte, “Categorial Minimalism”, in Logical Aspects of Computational Linguistics,

vol. LNAI n° 2014, M. Moortgat, Ed.: Springer Verlag, 2001, pp. 143-158.


- 30 -

Année 20022. J. Caelen, “Modèles formels de dialogue”, in Actes des 2èmes assises du GdR I3,

Information, Interaction Intelligence, J. L. Maître, Ed.: Cépadues Editions, Toulouse,2002, pp. 31-58.

Année 20033. M. Amblard, A. Lecomte and C. Retoré, “Syntax and Semantics interacting in a

minimalist theory”, in Prospects and Advances in the theory of Syntax SemanticsInterface, D. Duchier, Ed., Nancy, 2003, pp. 17-22.

4. L. Besacier and J. F. Bonastre, “Subband Approach for Automatic Speaker Recognition: Optimal division of the Frequency Domain”, in Audio and Video Biometric PersonAuthentification, Lectures Notes in Computer Science, vol. 1206, B. al., Ed.: SpringerVerlag, 2003, pp. 195-202.

5. J. Caelen, V. Eglin and S. Hollard, “Analyse de documents par oculométrie”, inAssistance intelligente à la recherche d’informations, chapitre 9, Hermès, Ed., Paris:Gaussier E., Stefanini M.H., 2003, pp. 285-315.

6. J. Caelen, V. Eglin, S. Hollard and B. Meillon, “Mouvements oculaires et évaluation dedocuments électroniques”, in Document électronique dynamique, Actes du sixièmecolloque international sur le document électronique (CIDE-6), U. d. Caen/Europia, Ed.,Caen: Faure C., Madelaine J., 2003, pp. 107-135.

7. J. Caelen, “Dialogue homme-machine et recherche d’information”, in Assistanceintelligente à la recherche d’informations, chapitre 7, Hermès, Ed., Paris: Gaussier E.,Stefanini M.H., 2003, pp. 219-254.

8. J. Caelen, “Systèmes interactifs : essai de caractérisation”, in Communication homme-systèmes informationnels, Chapitre 2, Hermès, Ed., Paris: B. Miège, 2003, pp. 41-58.

Année 20049. J. Caelen, Le consommateur au coeur de l'innovation: CNRS Editions, Paris, 2004.10. J. Caelen, “Préface de livre”, in VoiceXML, de J. Rouillard, Ed.: Vuibert, Paris, 2004.

Année 200511. A. Lecomte and A. Naït-Abdallah, “On Expressing Vague Quantification and Scalar

Implicatures in the Logic of Partial Information”, in Logical Aspects of ComputationalLinguistics, Ed.: FoLLI/LNAI, Springer-Verlag (LNCS), April 2005.

12. A. Lecomte, “Logical Models for Dialogue”, in Logic and Dialogue, D. Vanderveken,D. Vernant, and J. Caelen, Eds., Ed.: Kluwer, Amsterdam, 2005.

13. M. Tomokiyo, G. Chollet and S. Hollard, “Studies of Emotional Expressions in OralDialogues”, in Research on Computer Science, Universal Networking Language,Advances in Theory and Applications, Mexico, Ed.: Cerdeñosa J., Gelbukh A., Tovar E.,pp. 286-299, 2005.

Directions d’ouvrages (DO)

Edition de livres1. J. Caelen, D. Vernant and D. Vanderveken, Logic and Dialogue, à paraître : Kluwer ed.,

Amsterdam, 2005.

Edition d'actes de colloques, de n° spéciaux de revues


- 31 -

Autres publications (AP)

Année 20011. C. Bergamini, J. F. Serignat, L. Besacier and D. Vaufreydaz , “French Database for

Automatic Speech Recognition”, Laboratoire CLIPS-IMAG, GEOD, Grenoble, Rapportde contrat avec ISL (Interactive Systems Laboratories) de l'Université de Karlsruhe,septembre 2001.

2. J. Caelen, “Rapport scientifique du laboratoire CLIPS 1998-2000”, Laboratoire CLIPS-IMAG, Grenoble, septembre 2001.

3. E. Castelli and G. Nguyen Trong, “MICA : Centre de recherche international enMultimédia, Informations, Communication et Application”, International ResearchCenter MICA, Hanoi, Vietnam, Rapport de demande de soutien au CNRS, 5 janvier,2001.

4. E. Castelli, M. Gery and B. Guerin, “Masters en traitement du signal, 10ème mission.Cours Communications numériques et réseaux industriels, Multimédia, Reconnaissancedes formes.”, Centre de Recherche International MICA, Hanoi, Vietnam, Rapport deMission, 12 février-8mars 2001.

5. J. F. Serignat, “Rapport scientifique de l'équipe GEOD du CLIPS 1998-2000”,Laboratoire CLIPS-IMAG, Grenoble, septembre 2001.

Année 20026. L. Besacier, C. Bergamini, R. Lamy, D. Vaufreydaz, J. F. Serignat , P. Ged, F. Boiteux

and L. Cochet, “Expertise en vue de la réalisation d'un système de reconnaissance de laparole téléphonique”, Laboratoire CLIPS-IMAG, Grenoble, Rapport de fin de contratavec la Sociéte PROSODIE SA, Mai 2002.

7. J. F. Serignat, E. Castelli and V. Rialle, “Reconnaissance de situations de détresse enHabitat Intelligent Santé”, Rapport final du projet IMAG RESIDE-HIS, LaboratoiresCLIPS & TIMC, IMAG, Grenoble, 40 p., septembre 2002.

Année 20038. D. Istrate and M. Vacher, “Détection de signaux sonores noyés dans le bruit”,

Laboratoire CLIPS-IMAG, Grenoble, 60 p., février 2003.9. D. Istrate and M. Vacher, “Reconnaissance de classes de sons”, Laboratoire CLIPS-

IMAG, Grenoble, 76 p., juin 2003.10. D. Istrate and M. Vacher, “Application des ondelettes à la détection de signaux

sonores noyés dans le bruit”, Laboratoire CLIPS-IMAG, Grenoble, 35 p., juillet 2003.11. J.F. Serignat, “Interaction Parlée Homme-Machine”, Projet LAFMI-CNRS, Rapport

d'avancement 1ère année 2002-2003, Laboratoire CLIPS, UJF-IMAG, Grenoble, 25p.,septembre 2003.

12. A. Xuereb and J. Caelen, “PVE (Portail Vocal d'Entreprise), Architecture Générale :principes”, Rapport de contrat RNRT 2001, Laboratoire CLIPS-IMAG, Grenoble, 81p., 18 septembre 2003.

Année 200413. L. Besacier, A.C. Descalle, “Analyse des dialogues et développement de logiciels de

traitement”, Rapport Interne 3.4 – SP3.4, Projet RNRT COUCOU, Laboratoire CLIPS,UJF-IMAG, Grenoble, 2004.

14. J. Caelen, “PVE : Portail Vocal d'Entreprise”, Rapport final du contrat PVE, RNRT,Laboratoire CLIPS, UJF-IMAG, Grenoble, 30 p., 2004.

15. J. Caelen, “ACE : Agent Conversationnel Expressif”, Rapport final du contrat ACE,


- 32 -

RIAM, Laboratoire CLIPS, UJF-IMAG, Grenoble, 30 p., 2004.16. J.F. Serignat, L. Villasenor-Pineda, J. Caelen, D. Vaufreydaz, “Interaction Parlée

Homme-Machine”, Projet LAFMI-CNRS, Rapport final partie française 2002-2004,Laboratoire CLIPS, UJF-IMAG, Grenoble, 34p., octobre 2004.

17. J. F. Serignat, V. Rialle, M. Vacher, D. Istrate and G. Virone, “DESDHIS: Détectionde Situations de Détresse dans un Habitat Intelligent Santé”, Rapport final du contratDESDHIS, ACI Technologies pour la Santé (CNRS 2002-2004), Laboratoire CLIPS,UJF-IMAG, Grenoble, 25 p., novembre 2004.

Année 200518. L. Besacier, “Rapport de mission projet TALK (AUF)”, Mission ITC (Phnom-Penh) -

MICA (Hanoi), Laboratoire CLIPS/GEOD, Grenoble, 3 p., mars 2005.19. J. Caelen, “COUCOU : Conception participative Orientée Usage de services de

Communication et d'Objets Ubiquistes”, Rapport final et délivrables du contratCOUCOU, RNRT, Laboratoire CLIPS, UJF-IMAG, Grenoble, 20 p., 2005.

20. V. B. Le, “Rapid Acoustic Models Construction for Vietnamese using MultilingualModels”, CMU (Pittsburgh) Mission Report, CLIPS/GEOD Laboratory, Grenoble, 19p., March 2005.

21. D. Tuffelli, “Tutorial pour le logiciel PRAAT : Manipulations élémentaires”, Rapportinterne, Laboratoire CLIPS-IMAG, équipe GEOD, Grenoble, 95 p., 7 juin 2005.

Thèses et habilitations

1. D. Vaufreydaz, “Modélisation statistique du langage à partir d'Internet pour lareconnaissance automatique de la parole continue”, DU Spécialité Informatique,Université Joseph Fourier (UJF), Grenoble, 226 p., 7 janvier 2002.

2. Q.C. Nguyen, “Reconnaissance de la parole en langue vietnamienne”, DU SpécialitéSignal Image Parole Télécom (SIPT), Institut National Polytechnique (INP), Grenoble,176 p., 19 juin 2002.

3. M. Z. Kurdi, “Contribution à l'analyse du langage oral spontané”, DU SpécialitéInformatique, Université Joseph Fourier (UJF), Grenoble, 355 p., 18 avril 2003.

4. D. Istrate, “Détection et reconnaissance des sons pour la surveillance médicale”, DUSpécialité Signal Image Parole Télécom (SIPT), Institut National Polytechnique (INP),Grenoble, 183 p., 15 décembre 2003.

5. M. Ahafhaf, “Evaluation des systèmes de dialogues oral homme-machine : quelqueséléments linguistiques appliqués au paradigme DCR”, DU Spécialité Sciences duLangage, Université Stendhal, Grenoble, 30 septembre 2004.

6. Y. Fouquet, “Modélisation des attentes en dialogue oral”, DU Spécialité InformatiqueSystème et Communication, Université Joseph Fourier (UJF), Grenoble, 220 p., 26octobre 2004.

7. D. Moraru, “Segmentation en locuteurs de documents audios et audiovisuels :application à la recherche d'information multimedia”, DU Spécialité Signal ImageParole Télécom (SIPT), Institut National Polytechnique (INP), Grenoble, 217 p., 20décembre 2004.

8. N. H. Nguyen, “Dialogue Homme-Machine : modélisation de multisession”, DUSpécialité Informatique Système et Communication, Université Joseph Fourier (UJF),Grenoble, 207 p., 26 janvier 2005.

9. P. Mayorga-Ortiz, “Reconnaissance vocale dans un contexte de voix sur IP : diagnosticet propositions”, DU Spécialité Signal Image Parole Télécom (SIPT), Institut National


- 33 -

Polytechnique (INP), Grenoble, 177 p., 8 février 2005.

6. PRINCIPALES RESPONSABILITES SCIENTIFIQUESET ADMINISTRATIVES

GEOD (R. Lamy, D. Vaufreydaz) a été l'organisateur des "Cinquièmes Rencontres JeunesChercheurs en Parole" (RJC'2003) à Grenoble du 23 au 25 septembre 2003, manifestationparrainée par l'Association Francophone de la Communication Parlée (AFCP) dontl'objectif est de fournir aux doctorants ou jeunes docteurs l'occasion de se rencontrer, deprésenter leurs travaux et d'échanger leurs idées sur les divers domaines de la parole.

L. BesacierEst membre élu du bureau de l'AFCP (Association Francophone de la CommunicationParlée) depuis 2001.Est relecteur pour les revues Computer Speech and Language, IEEE Transactions onSpeech and Audio Processing, IEEE Signal Processing Letters, IEEE Transactions onSignal Processing, IEEE Transactions on Multimedia, Traitement du Signal, ActaAcustica.Est relecteur pour les conférences : Eurospeech 2005, RECITAL 2005, Speaker Odyssee2004 et 2006, Journées d’Etude sur la Parole 2002 2004 et 2006, ECCTD 2001.Est organisateur d’une session spéciale Biométrie6 à la conférence ISPA 2005.Est membre des commissions de spécialistes 27ème section de l’Université J. Fourier(depuis 2003) et de l’Université d’Avignon (2001-2004).Est membre du conseil scientifique de l’université J. Fourier (depuis Janvier 2005).

J. CaelenEst éditeur en chef de la revue RIHM (édité par Europia Productions, éd. Paris).Est relecteur dans SpeechCom, IJHS et Signal Processing (revues internationales) et dansFree Speech Journal (revue électronique internationale).Est membre du comité scientifique de congrès internationaux.Est membre du conseil de direction du GdR I3.Est membre de sociétés savantes de l’ACL, de l’ESCA, de la SFA.A été animateur d’ateliers sur les objets communicants à l’Agence Rhône-AlpesNumérique en 2002-2003 et membre du comité scientifique SOC’2003.Est coordonnateur du PPF Objets, Agents et Environnements Communicants au sein duGIS PEGASUS.A été organisateur du colloque international Dialogue et Logique, Grenoble 2002.A été organisateur du congrès international SOC (Smart Object Conference), Grenoble2001 et 2003.Est membre du comité scientifique du congrès MFI depuis 2003.A été co-organisateur du workshop WACA, Grenoble 2005

E. Castelli

6 http://www.isispa.org/sssipb.html


- 34 -

Est Directeur Adjoint du Centre de Recherche International MICA (Multimédia,Informations, Communication et Applications) à Hanoi, sous la cotutelle de l'INPGrenoble et de l'Institut Polytechnique de Hanoi.Est relecteur du J.A.S.A. (Journal of the Acoustic Society of America).Est rédacteur en chef du Bulletin du PFIEV (Programme de Formation d’Ingénieursd’Excellence au Vietnam).

S. HollardEst la correspondante officielle du laboratoire CLIPS auprès de l'ISDN (Institut desSciences du Document Numérique).

J.F. SerignatEst membre de la SEE (Société des Electriciens Electroniciens) de France et membre duComité Régional Dauphiné-Savoie.

7. PERSPECTIVES DE RECHERCHE 06-10

Les perspectives de recherche de GEOD s’inscrivent dans la continuité des axes derecherche actuels et son domaine de recherche demeurera sans doute, pour les prochainesannées, centré sur l’interaction orale avec les deux axes principaux : Reconnaissance (au senslarge) et Dialogue. Les projets en cours ou déposés et les encadrements en cours peuventservir à illustrer les prochaines tendances :

Direction 1 : Multilinguisme

Le but de cet axe, déjà en cours de développement (Thèse de Viet-Bac Le) est d’étudieret de proposer des solutions et des outils permettant d’accélérer la portabilité des systèmes dereconnaissance automatique de parole continue grand vocabulaire vers une nouvelle langue.Dans un premier temps, nous avons choisi de travailler sur le vietnamien, étant donné noscollaborations actuelles avec le laboratoire MICA7, situé à Hanoi. Mais nous envisageonsdans un futur très proche d’appliquer ces travaux vers d’autres langues minoritaires (languespour lesquelles très peu de corpus est disponible) comme le Khmer (parlé au Cambodge) etles langues des pays baltes (projet ANR JC déposé par L. Besacier).

Les projets CORUS (MAE) et TALK (AUF) qui se prolongent en 2006, marquentl’importance du multilinguisme (principalement en direction des langues peu dotées) dans lesrecherches en traitement automatique de la parole.

Un projet MULTILING (L. Besacier, B. Bigi), déposé à l’appel d’offres ANR jeuneschercheurs sur la reconnaissance automatique de parole multilingue renforce l’intérêt marquépour l’aspect multilingue dans les préoccupations de recherche de GEOD, avec notammentl’ajout de nouvelles langues dans les perspectives de recherche pour montrer la portabilité desapproches proposées par GEOD.

7 http://www.mica.edu.vn/Home/index.jsp


- 35 -

La thèse de Tien-Ping TAN, commencée en octobre 2004 (dirigée par L. Besacier) etdont le sujet de recherche est “Reconnaissance du français pour des locuteurs non natifs”,bien que centrée sur la reconnaissance du français, relève en fait de l’aspect multilingue parl’étude de l’influence des accents étrangers sur les performances des systèmes dereconnaissance de parole.

Direction 2 : Multimodalité

Bien que fortement positionnés dans le domaine du traitement automatique dedocuments audio au départ, nous envisageons de faire évoluer nos travaux de recherche versun contexte multimodal où, quelque soit le domaine applicatif, on rencontre des flux dedonnées provenant de multiples modalités (audio, vidéo et autres). Ceci s’est déjà concrétisépar une première collaboration avec le laboratoire LIS et l’équipe MRIM du CLIPS dans ledomaine de la recherche de documents vidéos (expériences réalisées lors des campagnesd’évaluation TREC Vidéo 2003 et 2004). Dans ces premiers travaux, nous avons tenté defusionner des modalités audio et vidéo, tant au niveau des données (early integration,recherche par similarité de vidéos-clips dans une base de vidéos) qu’au niveau desdécisions (late integration, segmentation de vidéos en histoires [Besacier 2004]).Dans les années à venir, nous envisageons notamment de travailler sur des donnéesaudiovisuelles en renforçant l’intégration des deux modalités. A ce sujet, un travail a déjà étéréalisé avec un post-doctorant (Nicolas Eveno) issu du LIS, et financé par le CNRS sur l’ACISécurité Informatique (projet BIOMUL déjà mentionné). Le potentiel des travaux de NicolasEveno sur la détection de contours labiaux à partir d’une vidéo nous permet d’envisagerd’appliquer un traitement bimodal (audio et lèvres) dans les domaines suivants :- détection automatique de playback (par mesure d’asynchronie entre deux sources audioet vidéo) pour des applications biométriques (projet BIOMUL)- traitement bi-labial de la parole audiovisuelle (projet TELMA qui implique leslaboratoires grenoblois CLIPS, LIS et ICP)- recherche d’information multimodale par utilisation d’indices audio/vidéo.

Par ailleurs, le co-encadrement d’un doctorat avec le laboratoire ICP est en cours(bourse de thèse fléchée, projet BQR TELMA) ; ainsi que le co-encadrement de MastersRecherche avec le laboratoire LIS (par l’intermédiaire de D. Pellerin). Une prolongation duprojet TELMA financé par l’ANR (appel RNTS) vient par ailleurs d’être acceptée.

Enfin, ces travaux trouverons un cadre expérimental par l’intermédiaire des campagnesd’évaluations internationales TREC Vidéo organisées par le NIST aux USA (pour l’axemultimodalité) et au niveau national, par l’intermédiaire des programmes Technolangue(pour l’axe multilinguisme) et Technovision (pour l’axe multimodalité) du ministère dela recherche dans lesquels le CLIPS est impliqué.

Direction 3 : Espaces perceptifs

Dans le domaine des espaces perceptifs, les recherches se poursuivent dans la continuitéde la coopération (projet DESDHIS) entre l’équipe AFIRM du laboratoire TIMC et l’équipeGEOD du CLIPS. Une thèse (Anthony FLEURY) co-encadrée par N. Noury de TIMC et M.Vacher du CLIPS a démarré en octobre 2005 sur le thème : “Détection de motifs temporelsdans les environnements multi-perceptifs – Application à la détection automatique desactivités de la vie quotidienne d’une personne suivie à domicile par télémédecine”. Cette


- 36 -

thèse entre dans le cadre du projet SIEMAD (Système d’Information Embarqué pour leMonitoring Ambulatoire de la personne Dépendante), supporté par la Région Rhône-Alpes etdéposé par l’équipe AFIRM du laboratoire TIMC, dans lequel GEOD est impliqué pour letraitement du signal sonore.

De même, un nouveau travail a commencé en octobre 2005 (Stéphane CHAILLOL,Mémoire CNAM) sur la “Détection et la classification des sons de la vie courante à l’aide dechaînes de Markov cachées (HMM)”, dans le but d’améliorer les performances (taux dereconnaissance, robustesse au bruit) du système actuel à base de mélanges de modèlesgaussiens (GMM) qui ne prend pas suffisamment en compte l’aspect évolutif temporel dessons dans un environnement perceptif.

Direction 4 : Dialogue

En dialogue, deux nouvelles thèses commencent en 2005 : Vladimir POPESCU en co-tutelle avec la Roumanie (Direction : J. Caelen, C. Burileanu) sur le “Dialogue pertinentHomme-Machine : génération des réponses orales en langage naturel” et A n a sOUAYOUCH (Dir. J. Caelen) sur “Jeu de négociation en langage naturel” qui marquent lavolonté de GEOD de continuer dans la modélisation des systèmes de dialogues mieux adaptéset toujours plus proches du comportement d’un opérateur humain.A compléter …

En conclusion, on peut surtout constater une influence grandissante du multilinguisme(bien qu’il soit déjà présent dans les activités de recherche de GEOD, notamment en directiondes langues peu dotées) dans toutes les facettes de ces recherches. Le multilinguisme ouvre eneffet des opportunités de coopération avec d’autres équipes au sein de projets internationauxet contribue aussi au rayonnement international de l’équipe. Le passé récent a montré aussique GEOD, bien que n’ayant travaillé jusqu’alors que sur la reconnaissance du français, atrouvé avantage à coopérer avec l’équipe GETA au sein de projets internationaux (CSTAR etNESPOLE) où l’aspect multilingue était une caractéristique fondamentale de ces projets. Eneffet, la mise en commun des spécificités complémentaires de chacune des deux équipes(“traduction multilingue” pour le GETA et “traitement de l’oral” pour GEOD), s’est révéléejudicieuse et source d’efficacité pour une coopération au sein de ce type de projets. Aussi, est-il envisagé dans un proche avenir d’effectuer un regroupement des deux équipes GEOD etGETA au sein d’une même entité, dont le nom n’est pas encore vraiment fixé, mais quipourrait se rapprocher de GETALP , pour “Groupe d'E tude en Traduction/TraitementAutomatique des Langues et de la Parole”.


- 37 -

Annexe 1 - liste détaillée des membres de l'équipe

NOM Prénom Section Etab. Grade %Recherche QuotitéChercheursBIGI Brigitte 07 CNRS CR2 100% 1CAELEN Jean 07 CNRS DR2 50% 0,5CASTELLI Eric 07 INPG CR2 (dél. CNRS) 50% 0Enseignants-chercheursBESACIER Laurent 27 UJF MCF 67% 1FOUQUET Yannick 27 UPMF ATER 67% 1LECOMTE Alain 72 UPMF PR 67% 0,5SERIGNAT Jean-Franç. 61 INPG MCFHC 67% 0,8

ITA/IATOS8

HOLLARD Solange 07 CNRS ITA 50% 1VACHER Michel 07 CNRS ITA 50% 1

Personnels sous contratEVENO Nicolas 07 CNRS Post-doc 50% 1

LISTE DES DOCTORANTS AU 01/09/2005NOM Prénom Etablissement Financement PartenaireCHAILLOL Stéphane CNAM AssedicDOMINGUEZ Patricia UJF Bourse CONACYT MexiqueLE Viet-Bac UJF Bourse Excellence Eiffel Ministère

AffairesEtrangères

QUANG Vu-Minh UJF Bourse MAE,Ambassade de France auVietnam

MICA-INPHanoiCo-tutelle

TRAN Do-Dat INPG Bourse AUF MICA-INPHanoiCo-tutelle

TRAN Vu-Truc UPMF Bourse MAE,Ambassade de France auVietnam

INP HanoiCo-tutelle

TAN Tien-Ping UJF Bourse GouvernementEtranger

Malaisie

POPESCU Vladimir UJF Bourse MIRA BucarestFac.Electroni.Co-tutelle

OUAYOUCH Anas UJF Salarié

8 Personnels explicitement rattachés à l’équipe


- 38 -

LISTE DES MEMBRES NON PUBLIANTS9 AU 01/09/2005NOM Prénom Etablissement Grade Fonction (éventuelle)

LISTE DES ENSEIGNANTS-CHERCHEURS ASSOCIES10 ET COLLABORATEURSBENEVOLES11 AU 01/09/2005NOM Prénom Etablissement Grade StatutTUFFELLI Denis UJF PR Collaborateur bénév.ISTRATE ESIGETEL MCF Associé

9 Selon le critère défini par la Direction de la recherche (DSPT9)10 Un enseignant-chercheur associé est un collègue d'un autre site que Grenoble et d'unétablissement avec lequel le laboratoire n'a pas de relation formalisée11 toute personne qui, sans être usager ou personnel d'un des établissements partenaires dulaboratoire, concoure bénévolement à la réalisation de ses missions et n'a pas d'employeur


- 39

-

Ann

exe

2

Lis

te d

es t

hèse

s so

uten

ues

(du

01/1

0/20

01 a

u 01

/10/

2005

)

Nom

Pré

nom

Dire

cteu

r(s)

de th

èse

Dat

e de

sout

enan

ce(1

)

Réf

éren

ce d

espu

blic

atio

ns e

t des

brev

ets

(2)

Mod

e de

finan

cem

ent

(3)

Eta

blis

sem

ent

d'in

scrip

tion

ED

de

ratta

chem

ent

(4)

DE

A o

um

aste

rd'

orig

ine

(5)

Situ

atio

npr

ofes

sion

nelle

(6)

VA

UF

RE

YD

AZ

Dom

iniq

ueJe

anC

AE

LEN

7/0

1/20

02

INV

(1, 3

, 7, 9

, 10,

11, 1

2)A

CT

(1, 1

1,12

, 15,

45,4

6) A M

EN

RT

UJF

(03

8183

8S)

MS

TII

(217

)(0

3818

38S

)IS

C -

UJF

MC

F –

UP

MF

(038

1839

T)

NG

UY

EN

Quo

c-C

ong

Eric

CA

ST

ELL

I19

/06/

2002

AC

T(1

0, 7

9, 8

0)C

OM

(3, 5

)B

DI-

CN

RS

INP

G (

0381

912X

)E

EA

TS

(22

0)(0

3819

12X

) S

IPT

- IN

PG

MC

F –

INP

Han

oi

IST

RA

TE

Dan

Eric

CA

ST

ELL

ILa

uren

tB

ES

AC

IER

15/1

2/20

03

AC

L(5)

AC

T(4

, 5, 6

, 28,

42,

43, 4

7, 5

1, 5

2, 6

0,61

, 62,

66,

72,

75)

AC

I-C

NR

SIN

PG

(03

8191

2X)

EE

AT

S (

220)

(038

1912

X)

SIP

T -

INP

GM

CF

-E

SIG

ET

EL

KU

RD

I Moh

amed

Zak

aria

Jean

CA

ELE

N18

/04/

2003

AC

T(7

, 13,

17,

18,

29)

Vac

at. U

niv.

UJF

(03

8183

8S)

MS

TII

(217

)(0

3818

38S

) S

c. C

ogni

tives

- U

JF

Con

fére

ncie

rà

l'Uni

vers

itéd'

Ale

p (S

yrie

)

AH

AF

FH

AF

Moh

amed

Jea

nC

AE

LEN

30/0

9/22

04 A

CT

(18,

29)

CD

D p

rivé

Ste

ndha

l-U3

Gre

nobl

e(0

3818

40U

)S

cien

ces

duLa

ngag

e (S

L) S

L -

U3

Gre

nobl

e

FO

UQ

UE

T Y

anni

ckJe

anC

AE

LEN

26/1

0/20

04 A

CT

(2, 8

9, 9

9)C

OM

(1, 7

)C

OLL

TE

RR

Rég

ion

RA

UJF

(03

8183

8S)

MS

TII

(217

)(0

3818

38S

)

CH

M -

Uni

v.D

u M

aine

(07

2091

6E)

Le M

ans

AT

ER

-U

PM

F

MO

RA

RU

Dan

iel

Eric

CA

ST

ELL

ILa

uren

tB

ES

AC

IER

20/1

2/20

04

AC

L(4)

AC

T(2

2, 3

8, 3

9, 4

8,50

, 54,

55,

56,

57,

58, 7

8, 9

0, 9

3, 1

02)

A ME

NR

TIN

PG

(03

8191

2X)

EE

AT

S (

220)

(038

1912

X)

SIP

T -

INP

GP

OS

T-D

OC

FR

NG

UY

EN

Ngo

c-H

oa J

ean

CA

ELE

N26

/01/

2005

AC

T(4

0, 5

9, 8

5, 8

7,98

)C

ontr

atR

NR

T (

PV

E)

UJF

(03

8183

8S)

MS

TII

(217

)(0

3818

38S

)E

quiv

alen

ceIS

C-U

JF

Ens

eign

ant-

Che

rche

ur,

Fac

ulté

d'In

form

atiq

ue,

Han

oi(V

ietn

am)

MA

YO

RG

A-O

RT

IZ P

edro

Jean

CA

ELE

N8/

02/2

005

AC

L(2,

3)

INV

(1)

ET

RC

ON

AC

YT

INP

G (

0381

912X

)E

EA

TS

(22

0)(0

3819

12X

) S

IPT

- IN

PG

Ens

eign

ant

(Mex

ique

)


- 40 -

LaurentB

ES

AC

IER

AC

T(14, 21, 36, 37)

To

tal9

Dont 9 thèses avec publications avant le 01/10/2005

(1) Préciser le m

ois et l'année (MM

/AA

AA

).(2) P

réciser les références des publications des docteurs, que vous aurez codifiées dans la partie II.2 du dossierscientifique.(3) C

f la no

men

clature 1 en

ann

exe.(4) Intitulé, n° et établissem

ent de rattachement de l'E

D.

(5) Intitulé et établissement qui a délivré le D

EA

/le master.

(6) Cf la nom

enclature en annexe.


- 41 -

Annexe 3 : indicateurs de production scientifique

2001 2002 2003 2004 2005Livres- d’audience nationale- d’audience internationale

1

Chapitres d’ouvrages- d’audience nationale- d’audience internationale 1

1 42

13

Editions d’ouvrage- d’audience nationale- d’audience internationale 1Revues avec comité de lecture- d’audience nationale- d’audience internationale

11 1 2

13

Conférences avec actes publiéset comité de lecture- d’audience nationale- d’audience internationale

112

612

423

1117

710

Conférences invitées- d’audience nationale- d’audience internationale

4 53

3 8

Thèses soutenues 2 2 3 2Habilitations soutenues


- 42 -

Annexe 4 :

Contrats institutionnels

ContexteCatégorie

Thème CoordonnateurNb de

partenairesCollaborations

spécifiques12Début

Fin

Soutienfinancierpropre

CSTAR III

Traductionmultilinguepour lerenseignementtouristique

ETRI (Corée) 14CMU (USA)Eq. GETA-CLIPS

01/0206/06 0

NESPOLE

Dialoguemultilinguepour lee-commerce

ITC-Irst(Italy)

4CMU (USA)Eq. GETA-CLIPS

01/0012/02

58K€

EU COSTProgrammeCOST 275

Biometrics-BasedRecognitionOverTheInternet

University ofHerfordshire(UK)

14 Countries(2 Partners/

Country)

J.F. Bonastre(LIA-Avignon)

06/0105/05

0

MAECORUS

Traitement de laparoleenlanguevietnamienne

E. CastelliMICA-INPHanoi (Vietnam)

2

E. CastelliMICA-INPHanoi(Vietnam)

12/0311/06

17,9K€

AUFTALK

Traitemautomatique delalangueKhmère

E. CastelliMICA-INPHanoi (Vietnam)

3

E. CastelliMICA-INPHanoi(Vietnam)

02/0401/06 2K€

12 Noms des partenaires avec lesquels sont menées plus particulièrement des recherchesconjointes


- 43 -

Khmère

RNRTExploratoirePVE

PortailVocald’Entreprise

O. CausseNEUROSOFTParis

4Eq. Multicom-CLIPS

01/0212/03

75K€

RNRTExploratoireCOUCOU

ConceptionParticpativeOrientée Usage

P. MalleinCNRS-MSHGrenoble

5Eq. Multicom-CLIPS

01/0212/04

20K€

RNTLPrécompétitifACE

AgentConversationnelExpressif

D. NoëlAs AN ENGEL(Paris)

3Eq. Multicom-CLIPS

07/0312/04

33K€

TechnolangueAGILE

Traitement del'oral-segmentation enlocuteurs

I. Magrin-ChagnolleauLab. DDL(Lyon)

6J.F. Bonastre(LIA-Avignon)

01/0312/04 21K€

ACISantéDESDHIS

Télésurveillance sonoreHabitatIntelligent Santé

J.F. SerignatCLIPS-IMAGEq. GEOD

2

V. Rialle,N. NouryLab. TIMC-IMAGEq. AFIRM

08/0208/04

41K€

ACI SécuritéBIOMUL

Biométrie etMultimodalités

J.F. Bonastre(LIA-Avignon)

4J.F. Bonastre(LIA-Avignon)

07/0306/06

32K€

IMAGDELOC

Collecticielpourréunionsdélocalisées

L. BesacierCLIPS-IMAGGrenoble

2Eq. MRIM-CLIPS

01/0212/02 10K€

CNRS-LAFMIIPHM

Interact.parléeH-M enespagnol-mexicain

L.Villasenor-PinedaINAOE-Mexico(Mexique)

2

L.Villasenor-PinedaNAOE-Mexico(Mexique)

09/0208/04

10K€

INPG-BQRVidéoSémantique

Segmentation-Indexation

G. QuenotMRIM-CLIPS 3

Eq. MRIM-CLIPS

01/0312/03 2K€

INPG-BQR Téléphonie àl'usagedesmalentendants

L. Girin 3 L. Girin 06/04 10K€


- 44 -

TELMA nie àl'usagedesmalentendants

ICP-INPG ICP-INPG 05/05

MAEFrance-QuébecDIALOGUE

ModélisationDialogue

J. CaelenCLIPS-IMAG

2

Université TroisRivières-Québec(Canada)

01/0212/02

1,8K€

Contrats à financement industriel

Partenaire(s) ThèmeDébut

FinMontant

PROSODIEReconnaissance deparole téléphonique

11/0001/02

44K€

THOMSON

Reconnaissance deparole continue-Expertise

01/0112/02

34K€

THALESReconnaissance deparole continue-modèle de langage

10/0212/03 15K€
