AS Données multimédia : interrogation et stockage

Travaux de l ’équipe MRIM du CLIPS

C. Berrut

G. QuénotA. Guérin P. Mulhem

Y. Chiaramella

Stéphane Bissol

Mbarek Charhad

Mohammed Belkhatir

Jean Martinet

Stéphane Ayache

Frédérik Colin

Données multimédia :Images, vidéo, réunions téléphoniques,documents techniques

UsagerSémantique de l’information

accès à l’information multimédia

Typologie de l’utilisateur"Relevance feedback"Vue "perceptive »etc

utilisateur + application

Définition d'un modèle RI

extraction d'informations à partir du signal

descendanteascendante

Indexer pour un objectif qualitatif

Ou par indexation manuelle selon le besoin qualitatif du système

Fixer l ’exhaustivité, la spécificitéDe l ’indexation souhaitée-> processus

Des plateformes

QuickTime™ et un décompresseur sont requis pour visualiser

cette image.

QuickTime™ et un décompresseur sont requis pour visualiser

cette image.

Données multimédia :Images, vidéo, réunions téléphoniques,documents techniques

UsagerSémantique de l’information

accès à l’information multimédia

Typologie de l’utilisateur"Relevance feedback"Vue "perceptive »etc

Représentation perceptiveet modélisation statistique

Carte d’Energie

1 Filtre = 1 descripteur

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

1.2

1.4

Modélisation de la densité de probabilité

Collection de filtres « Corticaux »

Extraits par ACI sur la Base d’images

Extraction de traits par principe de réduction de redondance,

indépendance statistique

Indexeur

0 0 0 0

0 0 0 0

0 0 0 0

0 0 0 0

Diss1 Diss2 Diss3 Diss4

…

Utilisateur

…

Adaptateurs

Session Pertinence Fusion

Modèle d’interaction• Expression des besoins• Impact sur les différentes caractéristiques fournies

Projet Annapurna

Analyse des besoins des usagers dans un contextematériel précis

Étude ergonomiqueImplantation

Exposé cet après-midi

Données multimédia :Images, vidéo, réunions téléphoniques,documents techniques

UsagerSémantique de l’information

accès à l’information multimédia

Typologie de l’utilisateur"Relevance feedback"Vue "perceptive »etc

Indexation symbolique : étape 1

Maj. Ciel

Maj. Montagne

• Indexation : étape 2

Image: #IMG0232

Region: #1 Region: #2

Ciel: #ciel1 0.32 1.0 Montagne: #montagne1 0.32 0.5

Label Label

Comp Comp Center02

TouchTop

OnTop

Center02

Touches

Représentation de la vidéo

Mouvements de la caméra

Efficacité de l ’accès à l ’information

Image collection

With and without star-graphs

0,3

0,4

0,5

0,6

0,7

0,8

0,9

0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1

Recall

Precision

With relations (Avg Prn 0.4954)

Without relations (Avg Prn 0.4504)

Index sur les index …