Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Base de données multimédia

Cordelia SchmidCordelia.Schmid@inrialpes.fr

Contenu du cours

• 7 séances de 1.5 heures

• Examen écrit

• Données multimédia– texte– son– image– vidéo

BD multimédia

a) Recherche à partir de chaque média – construction de descripteurs numériques– par exemple : recherche d’une image avec un certain acteur

b) Mécanisme d’indexation– algorithme d’accès rapide– les modèles classiques sont peu adaptés– beaucoup de données de haute dimension avec des incertitudes

c) Combinaison de différents médias– problème de recherche, difficile– par exemple : image + texte, image + information temporelle

BD multimédia

• Application – vidéo clickable– structuration de la vidéo

• decoupage en plan

• extraction d’objets, par le mouvement ou des algorithmes de détection

• appariement des objets (permet de créer des liens)

– annotation avec des informations supplémentaires

plan

}}}}} } } }~~~~ ~~ ~~~~

Recherche d’images

?

image requête

base d’images

Recherche d’images

• Recherche d’un même objet ou d’une même scène– recherche spécifique

• Recherche d’images similaire ou d’objets semblables– recherche générale

Recherche d’images

• Recherche d’un même objet ou d’une même scène– recherche spécifique

• Recherche d’images similaire ou d’objets semblables– recherche générale

Recherche d’images

• Recherche d’un même objet ou d’une même scène

reconnaissance de visages

Recherche d’images

• Recherche d’un même objet ou d’une même scène

…– rotation image

– facteur d’échelle de 4

– visibilité partielle

Applications

• Reconnaissance de visages• Reconnaissance d’empreintes digitales• Vérification du copyright• Collection de photo personelle• Structuration de la vidéo

Difficultés

rotation image

• Transformations image (rotation, échelle)

Difficultés

changement d’échelle

• Transformations image (rotation, échelle)

Difficultés

• Transformations image (rotation, échelle)• Changement de luminosité

Difficultés

• Transformations image (rotation, échelle)• Changement de luminosité• Visibilité partielle / occultation

Difficultés

• Transformations image (rotation, échelle)• Changement de luminosité• Visibilité partielle / occultation• Clutter (objets supplémentaires)

Difficultés

• Transformations image (rotation, échelle)• Changement de luminosité• Visibilité partielle / occultation• Clutter (objets supplémentaires)• Objets 3D

Difficultés

• Transformations image (rotation, échelle)• Changement de luminosité• Visibilité partielle / occultation• Clutter (objets supplémentaires)• Objets 3D • Nombre d’images important dans la base

Recherche d’images

• Recherche d’un même objet ou d’une même scène– recherche spécifique

• Recherche d’images similaire ou d’objets semblables– recherche générale

Recherche d’images

• Recherche d’images similaires, d’objets semblables– par exemple couleurs similaires

Recherche d’images

• Recherche d’images similaires, d’objets semblables– par exemple des visages

Recherche d’images

• Recherche d’images similaires, d’objets semblables– capturer les variations d’apparence, apprendre un modèle visuel

Applications

• Première étape de la reconnaissance de visages• Recherche sur le web• Agence de presse• Structuration de la vidéo