Mise en correspondance et Reconnaissance Cordelia Schmid Cordelia.Schmid@inrialpes.fr

Mise en correspondance et Reconnaissance

Cordelia Schmid

Cordelia.Schmid@inrialpes.fr

Organisation du cours

• 8 séance de 1.5 heures

• Examen écrit

Contenu du cours

• Mise en correspondance d’images

• Reconnaissance d’un même objet ou d’une même scène

• Reconnaissance de classes d’objets / recherche d’images similaires

Mise en correspondance d’images

Trouver l’endroit correspondant

Mise en correspondance d’images

• Mise en correspondance de primitives– points d’intérêt

– segments / contours

– régions

• Mise en correspondance dense– chaque pixel est apparié

Points d’intérêt

Mise en correspondance

• Applications :

– Reconstruction

– Localisation

– Reconnaissance

• Changement de point de vue (changement 3D)

Difficulté

• Changement de point de vue (changement 3D)• Transformation image (rotation, changement d’échelle)

Difficulté

• Changement de point de vue (changement 3D)• Transformation image (rotation, changement d’échelle)• Changement d’illumination

Difficulté

• Changement de point de vue (changement 3D)• Transformation image (rotation, changement d’échelle)• Changement d’illumination

• Occultation / changement de la scène

Difficulté

Contenu du cours

• Mise en correspondance d’images

• Reconnaissance d’un même objet ou d’une même scène

• Reconnaissance de classes d’objets / recherche d’images similaires

?

Reconnaissance d’objets

– recherche de l’image du même objet / scène

– problème : faux appariements, compléxité

Exemple

Reconnaissance de visage : identification d’une personne

Exemple

• Reconnaissance d’une scène d’extérieur

…– rotation image

– facteur d’échelle de 4

– visibilité partielle

Reconnaissance

• Applications– reconnaissance de visages

– reconnaissance d’empreintes digitales

– vérification du copyright pour des logos

– collection de photos personelles

– structuration de la vidéo

• Reconnaissance d’objets 2D / objets planaires

• Reconnaissance d’objets 3D

Difficultés

rotation image

• Transformations image (rotation, échelle)

Difficultés

changement d’échelle

• Transformations image (rotation, échelle)

Difficultés

• Transformations image (rotation, échelle)

• Changement de luminosité

Difficultés

• Transformations image (rotation, échelle)

• Changement de luminosité

• Visibilité partielle / occultation

Difficultés

• Transformations image (rotation, échelle)

• Changement de luminosité

• Visibilité partielle / occultation

• Clutter (objets supplémentaires)

Difficultés

• Transformations image (rotation, échelle)

• Changement de luminosité

• Visibilité partielle / occultation

• Clutter (objets supplémentaires)

• Objets 3D

Difficultés

• Transformations image (rotation, échelle)

• Changement de luminosité

• Visibilité partielle / occultation

• Clutter (objets supplémentaires)

• Objets 3D

• Nombre d’images important dans la base

Contenu du cours

• Mise en correspondance d’images

• Reconnaissance d’un même objet ou d’une même scène

• Reconnaissance de classes d’objets / recherche d’images similaires

Reconnaissance

• Recherche d’images similaires– histogramme de couleurs

• Reconnaissance de classes d’objets – recherche de visages

Histogramme de couleurs

• Recherche d’images avec des couleurs similaires

Reconnaissance de classes d’objets

• Recherche de visages

Reconnaissance de classes d’objets

• Recherche de visages– capturer les variations d’apparence, apprendre un modèle visuel

Applications

• Première étape de la reconnaisse de visages

• Recherche sur le web

• Agence de presse

• Interpretation d’une video, de l’environnement etc.

Difficultés

• cf. reconnaissance d’objets

• choix des caractéristiques et de la mesure de similarité

• capturer les variations intra-class