MAJORDOME : Assistant personnel et Messagerie unifiée
G. Chollet, L. Likforman, K. Hallouli, N. Azzabou, S.S. Lin, D. Mostefa, S. Renouard, M. Sigelle,
F. Yvon
Journée multimédia - Conseil Scientifique GET - 9/10/2003
Page 2 Journée MM / Conseil Scientifique GET - 9/10/2003
Garde la mémoire (adresses, agenda, infos personnelles)
Communique (au telephone) avec vos interlocuteurs
Interprète votre messagerie écrite, vocale et vos
télécopies
Vérifie votre identité Répond à vos questions
Le MAJORDOME peut être centralisé (serveur
d'entreprise), mobile (sur PDA ou PC-portable) ou
distribué.
Le MAJORDOME est un assistant intelligent personnel qui :
Page 3 Journée MM / Conseil Scientifique GET - 9/10/2003
Les fonctionnalités du Majordome
• Speaker verification
• Dialogue
• Routing
• Updating the agenda
• Automatic summary
Voice
Fax
Page 4 Journée MM / Conseil Scientifique GET - 9/10/2003
Authentification du locuteur
Fonctionnalités du Majordome
Page 5 Journée MM / Conseil Scientifique GET - 9/10/2003
Overview of Majordome
Background tasks (server-side only):– sorting and filtering messages from different
sources (E-mail, voice, fax, SMS,…);– extracting relevant information for reporting to user
(names of senders, subject,…).
Dialogue with the user: over phone or Web.– The system presents the state of the mailbox, the
type of messages, their sender, subject, and may sum them up or read them on request;
– The users access their mailbox, addressbook, time schedule, or Web addresses.
Page 6 Journée MM / Conseil Scientifique GET - 9/10/2003
1. Extraction de la structure des champs principaux
– localisation des champs : utilisation du texte et de l’image
• recherche tolérante de chaînes + groupement perceptif
– sélection des blocs EXPEDITEUR
2. Reconnaissance de caractères
– OCR, HCR
– modélisation des caractères par réseaux bayésiens
3. Extraction des noms propres
– vecteur de caractéristiques extrait sur chaque mot
• applications de règles (Prenom+NOM, typographie)
– classification par réseau neuronal
Traitement des télécopies
Page 7 Journée MM / Conseil Scientifique GET - 9/10/2003
traitement des télécopies (suite)
HEADER
DETECTION
COMBINATION
OCR
RECOGNITIONPROPER NAME
DETECTION
SENDER NAME BLOCK
LOCATION
HYPOTHESIZED HEADERS
BLOCKS
EXTRACTION
WRITING DISCRIMINATION
PSEUDO WORDS
TEXT STRINGS TEXTUALFEATURES
IMAGE FEATURES
Page 8 Journée MM / Conseil Scientifique GET - 9/10/2003
extraction des noms propres Score=9
Score=8
Score=5
Score=5
Page 9 Journée MM / Conseil Scientifique GET - 9/10/2003
1. Mesure pour chaque phrase d’un « score » de
représentativité (% de mots-clés)– à partir du pourcentage de mots clés dans la phrase mots
2. Extraction des phrases ayant leur score au-dessus d’un seuil donné
3. Concaténation des phrases choisies
Résultat : texte parfois peu esthétique, mais généralement lisible et compréhensible
Traitement des messages textuels
Page 10 Journée MM / Conseil Scientifique GET - 9/10/2003
Content Extraction in Majordome
• Overall Objective: Quick detection of short information elements for Message Filtering and Reporting to User
• Functional position of this processing phase:– Server-side, event-oriented, background task– subsequent and/or parallel to speech recognition
(voice messages) or image processing (faxes); previous to text summarizing
Page 11 Journée MM / Conseil Scientifique GET - 9/10/2003
Useful applications (1)
• Name/Date/Subject identification (this task specifically useful for fax and voice messages: no standardized fields for storing this information)– “You have 1 fax message from Mrs Diaconu
about ‘attending the Barcelona meeting’…”
• Backup information: user’s addressbook (PABX info yields sender’s phone number)
Page 12 Journée MM / Conseil Scientifique GET - 9/10/2003
Useful applications (2)• Message filtering:
– “You have received 14 personal E-mail messages, among which 3 messages from friends, 6 requests from students or colleagues, and 5 spam messages; you have received 26 mailing list messages, among which 3 call for papers, 11 conference announcements, and 12 other.”
• Backup information: RFC-822 “From” and “Subject” fields.
Page 13 Journée MM / Conseil Scientifique GET - 9/10/2003
Techniques (1)
• Text statistics measures:– Frequency of occurrence of certain
words/morphological categories/syntactical structures in different types of messages
E.g. ratio noun/verb frequency higher in technical texts; style markers specific to some text genres (e.g. frequent use of ‘!’ or ‘$’ in advertisements; ‘loose style’ abbreviations like ‘CU’, ‘IMHO’ in English, or ‘A+’ in French)
Page 14 Journée MM / Conseil Scientifique GET - 9/10/2003
Techniques (2)
• Text skimming:– Spotting “good candidates” for specific word
types (e.g. proper names): selecting capitalized words…
– … comparing with entries in common first names / family names database, and/or…
– … using local grammars to disambiguate other cases.
Page 15 Journée MM / Conseil Scientifique GET - 9/10/2003
Techniques (3)
• Merging visual clues and textual clues for mutual reinforcement of identification probability.
E.g. Probability of an unidentified, capitalized character string to be the proper name of a fax’s sender increases if it stands alone on a line at the top of the image.
Page 16 Journée MM / Conseil Scientifique GET - 9/10/2003
1. Reconnaissance de l'appelant
– Noms propres et épellation du nom
2. Vérification du locuteur
– Sur la prononciation du nom du client (dépendant du texte)
– Sur les actes de dialogue (indépendant du texte) 3. Navigation vocale dans la messagerie
– Reconnaissance des requêtes 4. Synthèse vocale
– Résumé de messages électroniques
– Informations sur les télécopies
Interface téléphonique
Page 17 Journée MM / Conseil Scientifique GET - 9/10/2003
1. Point
– Sous-point
– Sous point
2. Point
– Sous-point
– Sous point 3. Point
– Sous-point
– Sous point
Interface PDA
Page 18 Journée MM / Conseil Scientifique GET - 9/10/2003
1. Dépôt d'un message dans la boite d'un client
– Reconnaissance du nom du client
– Enregistrement du nom de l'appelant
2. Réception et traitement d'une télécopie
– Reconnaissance du destinataire et de l'envoyeur
– Transfert vers la messagerie électronique du destinataire
Démonstration (1)
Page 19 Journée MM / Conseil Scientifique GET - 9/10/2003
3. Accès à la messagerie à partir d'un téléphone mobile
– Reconnaissance du nom du client
– Vérification de l'identité de l'appelant
– Dialogue vocal pour accéder aux messages choisis
– Restitution des messages vocaux
– Synthèse des résumés de mél et des informations sur les
télécopies
Démonstration
Page 20 Journée MM / Conseil Scientifique GET - 9/10/2003
1. Point
– Sous-point
– Sous point
2. Point
– Sous-point
– Sous point 3. Point
– Sous-point
– Sous point
Perspectives