MAJORDOME : Assistant personnel et Messagerie unifiée

G. Chollet, L. Likforman, K. Hallouli, N. Azzabou, S.S. Lin, D. Mostefa, S. Renouard, M. Sigelle,

F. Yvon

Journée multimédia - Conseil Scientifique GET - 9/10/2003

Page 2 Journée MM / Conseil Scientifique GET - 9/10/2003

Garde la mémoire (adresses, agenda, infos personnelles)

Communique (au telephone) avec vos interlocuteurs

Interprète votre messagerie écrite, vocale et vos

télécopies

Vérifie votre identité Répond à vos questions

Le MAJORDOME peut être centralisé (serveur

d'entreprise), mobile (sur PDA ou PC-portable) ou

distribué.

Le MAJORDOME est un assistant intelligent personnel qui :

Page 3 Journée MM / Conseil Scientifique GET - 9/10/2003

Les fonctionnalités du Majordome

• Speaker verification

• Dialogue

• Routing

• Updating the agenda

• Automatic summary

Voice

Fax

E-mail

Page 4 Journée MM / Conseil Scientifique GET - 9/10/2003

Authentification du locuteur

Fonctionnalités du Majordome

Page 5 Journée MM / Conseil Scientifique GET - 9/10/2003

Overview of Majordome

Background tasks (server-side only):– sorting and filtering messages from different

sources (E-mail, voice, fax, SMS,…);– extracting relevant information for reporting to user

(names of senders, subject,…).

Dialogue with the user: over phone or Web.– The system presents the state of the mailbox, the

type of messages, their sender, subject, and may sum them up or read them on request;

– The users access their mailbox, addressbook, time schedule, or Web addresses.

Page 6 Journée MM / Conseil Scientifique GET - 9/10/2003

1. Extraction de la structure des champs principaux

– localisation des champs : utilisation du texte et de l’image

• recherche tolérante de chaînes + groupement perceptif

– sélection des blocs EXPEDITEUR

2. Reconnaissance de caractères

– OCR, HCR

– modélisation des caractères par réseaux bayésiens

3. Extraction des noms propres

– vecteur de caractéristiques extrait sur chaque mot

• applications de règles (Prenom+NOM, typographie)

– classification par réseau neuronal

Traitement des télécopies

Page 7 Journée MM / Conseil Scientifique GET - 9/10/2003

traitement des télécopies (suite)

HEADER

DETECTION

COMBINATION

OCR

RECOGNITIONPROPER NAME

DETECTION

SENDER NAME BLOCK

LOCATION

HYPOTHESIZED HEADERS

BLOCKS

EXTRACTION

WRITING DISCRIMINATION

PSEUDO WORDS

TEXT STRINGS TEXTUALFEATURES

IMAGE FEATURES

Page 8 Journée MM / Conseil Scientifique GET - 9/10/2003

extraction des noms propres Score=9

Score=8

Score=5

Score=5

Page 9 Journée MM / Conseil Scientifique GET - 9/10/2003

1. Mesure pour chaque phrase d’un « score » de

représentativité (% de mots-clés)– à partir du pourcentage de mots clés dans la phrase mots

2. Extraction des phrases ayant leur score au-dessus d’un seuil donné

3. Concaténation des phrases choisies

Résultat : texte parfois peu esthétique, mais généralement lisible et compréhensible

Traitement des messages textuels

Page 10 Journée MM / Conseil Scientifique GET - 9/10/2003

Content Extraction in Majordome

• Overall Objective: Quick detection of short information elements for Message Filtering and Reporting to User

• Functional position of this processing phase:– Server-side, event-oriented, background task– subsequent and/or parallel to speech recognition

(voice messages) or image processing (faxes); previous to text summarizing

Page 11 Journée MM / Conseil Scientifique GET - 9/10/2003

Useful applications (1)

• Name/Date/Subject identification (this task specifically useful for fax and voice messages: no standardized fields for storing this information)– “You have 1 fax message from Mrs Diaconu

about ‘attending the Barcelona meeting’…”

• Backup information: user’s addressbook (PABX info yields sender’s phone number)

Page 12 Journée MM / Conseil Scientifique GET - 9/10/2003

Useful applications (2)• Message filtering:

– “You have received 14 personal E-mail messages, among which 3 messages from friends, 6 requests from students or colleagues, and 5 spam messages; you have received 26 mailing list messages, among which 3 call for papers, 11 conference announcements, and 12 other.”

• Backup information: RFC-822 “From” and “Subject” fields.

Page 13 Journée MM / Conseil Scientifique GET - 9/10/2003

Techniques (1)

• Text statistics measures:– Frequency of occurrence of certain

words/morphological categories/syntactical structures in different types of messages

E.g. ratio noun/verb frequency higher in technical texts; style markers specific to some text genres (e.g. frequent use of ‘!’ or ‘$’ in advertisements; ‘loose style’ abbreviations like ‘CU’, ‘IMHO’ in English, or ‘A+’ in French)

Page 14 Journée MM / Conseil Scientifique GET - 9/10/2003

Techniques (2)

• Text skimming:– Spotting “good candidates” for specific word

types (e.g. proper names): selecting capitalized words…

– … comparing with entries in common first names / family names database, and/or…

– … using local grammars to disambiguate other cases.

Page 15 Journée MM / Conseil Scientifique GET - 9/10/2003

Techniques (3)

• Merging visual clues and textual clues for mutual reinforcement of identification probability.

E.g. Probability of an unidentified, capitalized character string to be the proper name of a fax’s sender increases if it stands alone on a line at the top of the image.

Page 16 Journée MM / Conseil Scientifique GET - 9/10/2003

1. Reconnaissance de l'appelant

– Noms propres et épellation du nom

2. Vérification du locuteur

– Sur la prononciation du nom du client (dépendant du texte)

– Sur les actes de dialogue (indépendant du texte) 3. Navigation vocale dans la messagerie

– Reconnaissance des requêtes 4. Synthèse vocale

– Résumé de messages électroniques

– Informations sur les télécopies

Interface téléphonique

Page 17 Journée MM / Conseil Scientifique GET - 9/10/2003

1. Point

– Sous-point

– Sous point

2. Point

– Sous-point

– Sous point 3. Point

– Sous-point

– Sous point

Interface PDA

Page 18 Journée MM / Conseil Scientifique GET - 9/10/2003

1. Dépôt d'un message dans la boite d'un client

– Reconnaissance du nom du client

– Enregistrement du nom de l'appelant

2. Réception et traitement d'une télécopie

– Reconnaissance du destinataire et de l'envoyeur

– Transfert vers la messagerie électronique du destinataire

Démonstration (1)

Page 19 Journée MM / Conseil Scientifique GET - 9/10/2003

3. Accès à la messagerie à partir d'un téléphone mobile

– Reconnaissance du nom du client

– Vérification de l'identité de l'appelant

– Dialogue vocal pour accéder aux messages choisis

– Restitution des messages vocaux

– Synthèse des résumés de mél et des informations sur les

télécopies

Démonstration

Page 20 Journée MM / Conseil Scientifique GET - 9/10/2003

1. Point

– Sous-point

– Sous point

2. Point

– Sous-point

– Sous point 3. Point

– Sous-point

– Sous point

Perspectives