30
Mise en correspondance et Reconnaissance Cordelia Schmid [email protected]

Mise en correspondance et Reconnaissance Cordelia Schmid [email protected]

Embed Size (px)

Citation preview

Page 1: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Mise en correspondance et Reconnaissance

Cordelia Schmid

[email protected]

Page 2: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Organisation du cours

• 8 séance de 1.5 heures

• Examen écrit

Page 3: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Contenu du cours

• Mise en correspondance d’images

• Reconnaissance d’un même objet ou d’une même scène

• Reconnaissance de classes d’objets / recherche d’images similaires

Page 4: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Mise en correspondance d’images

Trouver l’endroit correspondant

Page 5: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Mise en correspondance d’images

• Mise en correspondance de primitives– points d’intérêt

– segments / contours

– régions

• Mise en correspondance dense– chaque pixel est apparié

Page 6: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Points d’intérêt

Page 7: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Mise en correspondance

• Applications :

– Reconstruction

– Localisation

– Reconnaissance

Page 8: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

• Changement de point de vue (changement 3D)

Difficulté

Page 9: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

• Changement de point de vue (changement 3D)• Transformation image (rotation, changement d’échelle)

Difficulté

Page 10: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

• Changement de point de vue (changement 3D)• Transformation image (rotation, changement d’échelle)• Changement d’illumination

Difficulté

Page 11: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

• Changement de point de vue (changement 3D)• Transformation image (rotation, changement d’échelle)• Changement d’illumination

• Occultation / changement de la scène

Difficulté

Page 12: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Contenu du cours

• Mise en correspondance d’images

• Reconnaissance d’un même objet ou d’une même scène

• Reconnaissance de classes d’objets / recherche d’images similaires

Page 13: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

?

Reconnaissance d’objets

– recherche de l’image du même objet / scène

– problème : faux appariements, compléxité

Page 14: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Exemple

Reconnaissance de visage : identification d’une personne

Page 15: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Exemple

• Reconnaissance d’une scène d’extérieur

…– rotation image

– facteur d’échelle de 4

– visibilité partielle

Page 16: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Reconnaissance

• Applications– reconnaissance de visages

– reconnaissance d’empreintes digitales

– vérification du copyright pour des logos

– collection de photos personelles

– structuration de la vidéo

• Reconnaissance d’objets 2D / objets planaires

• Reconnaissance d’objets 3D

Page 17: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Difficultés

rotation image

• Transformations image (rotation, échelle)

Page 18: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Difficultés

changement d’échelle

• Transformations image (rotation, échelle)

Page 19: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Difficultés

• Transformations image (rotation, échelle)

• Changement de luminosité

Page 20: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Difficultés

• Transformations image (rotation, échelle)

• Changement de luminosité

• Visibilité partielle / occultation

Page 21: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Difficultés

• Transformations image (rotation, échelle)

• Changement de luminosité

• Visibilité partielle / occultation

• Clutter (objets supplémentaires)

Page 22: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Difficultés

• Transformations image (rotation, échelle)

• Changement de luminosité

• Visibilité partielle / occultation

• Clutter (objets supplémentaires)

• Objets 3D

Page 23: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Difficultés

• Transformations image (rotation, échelle)

• Changement de luminosité

• Visibilité partielle / occultation

• Clutter (objets supplémentaires)

• Objets 3D

• Nombre d’images important dans la base

Page 24: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Contenu du cours

• Mise en correspondance d’images

• Reconnaissance d’un même objet ou d’une même scène

• Reconnaissance de classes d’objets / recherche d’images similaires

Page 25: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Reconnaissance

• Recherche d’images similaires– histogramme de couleurs

• Reconnaissance de classes d’objets – recherche de visages

Page 26: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Histogramme de couleurs

• Recherche d’images avec des couleurs similaires

Page 27: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Reconnaissance de classes d’objets

• Recherche de visages

Page 28: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Reconnaissance de classes d’objets

• Recherche de visages– capturer les variations d’apparence, apprendre un modèle visuel

Page 29: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Applications

• Première étape de la reconnaisse de visages

• Recherche sur le web

• Agence de presse

• Interpretation d’une video, de l’environnement etc.

Page 30: Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Difficultés

• cf. reconnaissance d’objets

• choix des caractéristiques et de la mesure de similarité

• capturer les variations intra-class