23
Base de données multimédia Cordelia Schmid [email protected]

Base de données multimédia Cordelia Schmid [email protected]

Embed Size (px)

Citation preview

Page 1: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Base de données multimédia

Cordelia [email protected]

Page 2: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Contenu du cours

• 7 séances de 1.5 heures

• Examen écrit

• Données multimédia– texte– son– image– vidéo

Page 3: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

BD multimédia

a) Recherche à partir de chaque média – construction de descripteurs numériques– par exemple : recherche d’une image avec un certain acteur

b) Mécanisme d’indexation– algorithme d’accès rapide– les modèles classiques sont peu adaptés– beaucoup de données de haute dimension avec des incertitudes

c) Combinaison de différents médias– problème de recherche, difficile– par exemple : image + texte, image + information temporelle

Page 4: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

BD multimédia

• Application – vidéo clickable– structuration de la vidéo

• decoupage en plan

• extraction d’objets, par le mouvement ou des algorithmes de détection

• appariement des objets (permet de créer des liens)

– annotation avec des informations supplémentaires

plan

}}}}} } } }~~~~ ~~ ~~~~

Page 5: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr
Page 6: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Recherche d’images

?

image requête

base d’images

Page 7: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Recherche d’images

• Recherche d’un même objet ou d’une même scène– recherche spécifique

• Recherche d’images similaire ou d’objets semblables– recherche générale

Page 8: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Recherche d’images

• Recherche d’un même objet ou d’une même scène– recherche spécifique

• Recherche d’images similaire ou d’objets semblables– recherche générale

Page 9: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Recherche d’images

• Recherche d’un même objet ou d’une même scène

reconnaissance de visages

Page 10: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Recherche d’images

• Recherche d’un même objet ou d’une même scène

…– rotation image

– facteur d’échelle de 4

– visibilité partielle

Page 11: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Applications

• Reconnaissance de visages• Reconnaissance d’empreintes digitales• Vérification du copyright• Collection de photo personelle• Structuration de la vidéo

Page 12: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Difficultés

rotation image

• Transformations image (rotation, échelle)

Page 13: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Difficultés

changement d’échelle

• Transformations image (rotation, échelle)

Page 14: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Difficultés

• Transformations image (rotation, échelle)• Changement de luminosité

Page 15: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Difficultés

• Transformations image (rotation, échelle)• Changement de luminosité• Visibilité partielle / occultation

Page 16: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Difficultés

• Transformations image (rotation, échelle)• Changement de luminosité• Visibilité partielle / occultation• Clutter (objets supplémentaires)

Page 17: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Difficultés

• Transformations image (rotation, échelle)• Changement de luminosité• Visibilité partielle / occultation• Clutter (objets supplémentaires)• Objets 3D

Page 18: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Difficultés

• Transformations image (rotation, échelle)• Changement de luminosité• Visibilité partielle / occultation• Clutter (objets supplémentaires)• Objets 3D • Nombre d’images important dans la base

Page 19: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Recherche d’images

• Recherche d’un même objet ou d’une même scène– recherche spécifique

• Recherche d’images similaire ou d’objets semblables– recherche générale

Page 20: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Recherche d’images

• Recherche d’images similaires, d’objets semblables– par exemple couleurs similaires

Page 21: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Recherche d’images

• Recherche d’images similaires, d’objets semblables– par exemple des visages

Page 22: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Recherche d’images

• Recherche d’images similaires, d’objets semblables– capturer les variations d’apparence, apprendre un modèle visuel

Page 23: Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Applications

• Première étape de la reconnaissance de visages• Recherche sur le web• Agence de presse• Structuration de la vidéo