Reconnaissance de visage par vidéo

  • View
    61

  • Download
    0

Embed Size (px)

DESCRIPTION

Reconnaissance de visage par vido. Usman Saeed, Jean-Luc Dugelay, Caroline Mallauran Institut Eurcom. Plan. Introduction. Extraction de caractristique. Reconnaissance. Rsultats. Travaux en cours. Base de donnes. Reconnaissance Audio Vido. Conclusion. Introduction. - PowerPoint PPT Presentation

Transcript

  • Reconnaissance de visage par vidoUsman Saeed, Jean-Luc Dugelay, Caroline MallauranInstitut Eurcom

  • PlanIntroduction. Extraction de caractristique.Reconnaissance. Rsultats. Travaux en cours. Base de donnes. Reconnaissance Audio Vido. Conclusion.

  • IntroductionUsman Saeed Pakistanais - 24

    2000 - 2004BS Computer System EngineeringGIK Institute Pakistan2005 2006 Master IGMMVUniversit de Nice- Sophia Antipolis2006 ActuellementDoctorantEurecom

    Introduction

    Feature ExtractionLocal FeaturesMouthEyeGlobal Features

    Recognition

    Results

    Work in Progress

    Database

    A/V Proposal

    Conclusions

  • IntroductionBut du Projet: Reconnaissance de personne par tude comportementale du visage.

    Caractristique: nombreuses variations possibles, de la vitesse avec laquelle une personne parle ou des gestes spcifiques d'il.

    Reconnaissance : utilisation de GMM et classifieurs Baysiens.Introduction

    Feature ExtractionLocal FeaturesMouthEyeGlobal Features

    Recognition

    Results

    Work in Progress

    Database

    A/V Proposal

    Conclusions

  • IntroductionClassificationde PersonnesVidosCaractristiquesLocalesIdentitExtraction de caractristiques LocalesSuivisignauxIntroduction

    Feature ExtractionLocal FeaturesMouthEyeGlobal Features

    Recognition

    Results

    Work in Progress

    Database

    A/V Proposal

    Conclusions

  • Extraction de CaractristiqueEntres: Squences vidosLocalisation approximative [1] des yeux, du nez et de la bouche.

    Fonctionnalit: Extraction de caractristiques Caractristique Local Mouvement de la bouche. Mouvement des yeux. Sortie: Signal temporelIntroduction

    Feature ExtractionLocal FeaturesMouthEyeGlobal Features

    Recognition

    Results

    Work in Progress

    Database

    A/V Proposal

    Conclusions

  • Extraction de CaractristiqueMouvement de la bouche Littrature tendue sur la dtection et la segmentation des lvres.Expressions, Reconnaissance Audio Vido du locuteur , lecture labialeUtilisation du bord externe des lvres comme une mesure de la bouche .Algorithme bas sur la couleur et le contour.CaractristiqueSurfaceAxe MajeureAxe MineurExcentricit

    Introduction

    Feature ExtractionLocal FeaturesMouthEyeGlobal Features

    Recognition

    Results

    Work in Progress

    Database

    A/V Proposal

    Conclusions

  • Reconnaissance[1]ApprentissageUtilisation des GMM et EM pour enrler des personnes.ReconnaissanceClassification Baysiens Etant donn xk le vecteur caractristique, la probabilit posteriori pour la classe wqIntroduction

    Feature ExtractionLocal FeaturesMouthEyeGlobal Features

    Recognition

    Results

    Work in Progress

    Database

    A/V Proposal

    Conclusions

  • RsultatsPar comparaison on a test sur notre base de donns notre algorithme et un algorithme classique, Eigenface.Notre Systme: Taux d Identification est 97.0% EigenFace: Taux d Identification est 92.5 %Introduction

    Feature ExtractionLocal FeaturesMouthEyeGlobal Features

    Recognition

    Results

    Work in Progress

    Database

    A/V Proposal

    Conclusions

  • Travaux en coursRsultats pas encore finalissClignotement des yeux.Mouvement des pupilles.

    Introduction

    Feature ExtractionLocal FeaturesMouthEyeGlobal Features

    Recognition

    Results

    Work in Progress

    Database

    A/V Proposal

    Conclusions

  • Base de donnes[1] (Actuelle)Pas d Audio9 prsentateurs TV 4 mins pour chaque personne.144 squences de vido de dure 14s.

    Rsolution Spatiale 352288 pixels Rsolution Temporelle 23.97 f/sCompression 300 Kb/sSrieux, regardant la cameraIntroduction

    Feature ExtractionLocal FeaturesMouthEyeGlobal Features

    Recognition

    Results

    Work in Progress

    Database

    A/V Proposal

    Conclusions

  • Base de donnes (Propos)ContentsEnregistrements en mode indpendante du texte.vue frontale du visage.

    Rsolution Vido -----------------------320X240 ou plus de pixelRsolution Temporelle --------------------------------------------25 f/sCompression Vido ---------------------------------------------aucun Format Vido -----------------------------------------------------------aviCouleur ----------------------------------------------------16 bit ou plus

    Nombre de Personne---------------------------------------------40-60Distance entre les yeux----------------------------------40-60 pixelsLongueur requise pour apprentissage --------------------5 minsLongueur requise pour Reconnaissance -----------10-15 secsNombre de vidos par personne---------------------------------20

    Camera Spcifique / TV ---------------------------------------?????

    Introduction

    Feature ExtractionLocal FeaturesMouthEyeGlobal Features

    Recognition

    Results

    Work in Progress

    Database

    A/V Proposal

    Conclusions

  • Reconnaissance AVBase de donns Audio Vido .Squences de vido de taille fixe .Synchronisation de la vido et laudio.Signal qui change avec temps. Vecteur caractristique extrait chaque image.Signal Audio ????Conception de Classificateur .Signal d entre Combin ou spar.Classificateur si spar, combiner les rsultants au nivaux du score ou du rang.Poids de modalit.

    Multi-modalit Vs Dtection de Imposteur.Amliorer les rsultats avec un systme multimodal.Vrification de laudio par mouvement de la boucheIntroduction

    Feature ExtractionLocal FeaturesMouthEyeGlobal Features

    Recognition

    Results

    Work in Progress

    Database

    A/V Proposal

    Conclusions

  • ConclusionBut: Avons-nous assez de variations comportementales entre les personnes pour les identifier.

    Rsultats prliminaires prometteurs mais qui valident l'ide, mme sur une petite base de donnes.

    Priorit la plus leve : Dvelopper une base de donns Audio - VidoIntroduction

    Feature ExtractionLocal FeaturesMouthEyeGlobal Features

    Recognition

    Results

    Work in Progress

    Database

    A/V Proposal

    Conclusions

  • Questions /Comments

  • Bibliography[1] F. Matta and J-L. Dugelay, A behavioural approach to person recognition, to appear in Proceedings of IEEE International Conference on Multimedia and Expo (ICME2006), 912 July 2006, Toronto, Canada.[2] U. Canzler and T. Dziurzyk, Extraction of Non Manual Features for Video based Sign Language Recognition, in Proceedings of the IAPR Workshop on Machine Vision Application (MVA2002), 1113 December 2002 , Nara, Japan, pp. 318321.