MAJORDOME : Assistant personnel et Messagerie unifiée

G. Chollet, L. Likforman, K. Hallouli, N. Azzabou, A. Kumar, S.S. Lin, D. Mostefa, S. Renouard,

M. Sigelle, F. Yvon

Journée multimédia - Conseil Scientifique GET - 9/10/2003

Page 2 Journée MM / Conseil Scientifique GET - 9/10/2003

Garde la mémoire (adresses, agenda, infos personnelles)

Communique (au telephone) avec vos interlocuteurs

Interprète votre messagerie écrite, vocale et vos

télécopies

Vérifie votre identité Répond à vos questions

Le MAJORDOME peut être centralisé (serveur

d'entreprise), mobile (sur PDA ou PC-portable) ou

distribué.

Le MAJORDOME est un assistant intelligent personnel qui :

Page 3 Journée MM / Conseil Scientifique GET - 9/10/2003

Les fonctionnalités du Majordome

• Speaker verification

• Dialogue

• Routing

• Updating the agenda

• Automatic summary

Voice

Fax

E-mail

Page 4 Journée MM / Conseil Scientifique GET - 9/10/2003

Authentification du locuteur

Fonctionnalités du Majordome

Page 5 Journée MM / Conseil Scientifique GET - 9/10/2003

Fonctionalités du Majordome

Tâches de fond (au niveau du serveur):– Tri, interprétation et filtrage de messages

(E-mail, voice, fax, SMS,…);– extraction des informations pertinentes pour le client

(nom de l'expéditeur, suject,…).

Dialogue avec le client (par le téléphone ou internet)– Le système présente l'état de la messagerie

intégrée, le type de messages, l'expéditeur, le suject, offre un résumé synthétique à la demande;

– Le clent accède a sa messagerie, son carnet d'adresses, son agenda, ...

Page 6 Journée MM / Conseil Scientifique GET - 9/10/2003

1. Extraction de la structure des champs principaux

– localisation des champs : utilisation du texte et de l’image

• recherche tolérante de chaînes + groupement perceptif

– sélection des blocs EXPEDITEUR

2. Reconnaissance de caractères

– OCR, HCR

– modélisation des caractères par réseaux bayésiens

3. Extraction des noms propres

– vecteur de caractéristiques extrait sur chaque mot

• applications de règles (Prenom+NOM, typographie)

– classification par réseau neuronal

Traitement des télécopies

Page 7 Journée MM / Conseil Scientifique GET - 9/10/2003

traitement des télécopies (suite)

HEADER

DETECTION

COMBINATION

OCR

RECOGNITIONPROPER NAME

DETECTION

SENDER NAME BLOCK

LOCATION

HYPOTHESIZED HEADERS

BLOCKS

EXTRACTION

WRITING DISCRIMINATION

PSEUDO WORDS

TEXT STRINGS TEXTUALFEATURES

IMAGE FEATURES

Page 8 Journée MM / Conseil Scientifique GET - 9/10/2003

extraction des noms propres Score=9

Score=8

Score=5

Score=5

Page 9 Journée MM / Conseil Scientifique GET - 9/10/2003

1. Mesure pour chaque phrase d’un « score » de

représentativité (% de mots-clés)– à partir du pourcentage de mots clés dans la phrase mots

2. Extraction des phrases ayant leur score au-dessus d’un seuil donné

3. Concaténation des phrases choisies

Résultat : texte parfois peu esthétique, mais généralement lisible et compréhensible

Traitement des messages textuels

Page 10 Journée MM / Conseil Scientifique GET - 9/10/2003

1. Reconnaissance de l'appelant

– Noms propres et épellation du nom

2. Vérification du locuteur

– Sur la prononciation du nom du client (dépendant du texte)

– Sur les actes de dialogue (indépendant du texte) 3. Navigation vocale dans la messagerie

– Reconnaissance des requêtes 4. Synthèse vocale

– Résumé de messages électroniques

– Informations sur les télécopies

Interface téléphonique

Page 11 Journée MM / Conseil Scientifique GET - 9/10/2003

MessageImageFaxPersonal Info

PDA Interface

Page 12 Journée MM / Conseil Scientifique GET - 9/10/2003

Command (input) execution

Functions

output

Environemental events

state

Interface

Majordome pour Handicapés

Users

VoiceGesture (hand, foot, head movements)

4

Page 13 Journée MM / Conseil Scientifique GET - 9/10/2003

1. Dépôt d'un message dans la boite d'un client

– Reconnaissance du nom du client

– Enregistrement du nom de l'appelant

2. Réception et traitement d'une télécopie

– Reconnaissance du destinataire et de l'envoyeur

– Transfert vers la messagerie électronique du destinataire

Démonstration (1)

Page 14 Journée MM / Conseil Scientifique GET - 9/10/2003

3. Accès à la messagerie à partir d'un téléphone mobile

– Reconnaissance du nom du client

– Vérification de l'identité de l'appelant

– Dialogue vocal pour accéder aux messages choisis

– Restitution des messages vocaux

– Synthèse des résumés de mél et des informations sur les

télécopies

Démonstration (2)