View
52
Download
1
Category
Preview:
DESCRIPTION
Frédéric Bousefsaf , Choubeila Maaoui , Alain Pruski. Contexte et objectif . Reconnaissance multimodale d’émotions par méthodes hors contact : extraction de signaux physiologiques via une webcam. - PowerPoint PPT Presentation
Citation preview
Reconnaissance multimodale d’émotions par méthodes hors
contact : extraction de signaux physiologiques via une webcam
Résultats et Conclusion
• Les signaux physiologiques peuvent être utilisés pour reconnaître des émotions. La pose des capteurs est un frein dans certains domaines d’application (jeux vidéo, serious games) si un spécialiste n’est pas disponible ou si la personne ressent une gène (confort, intrusivité).
• Une solution consiste à utiliser des technologies hors contact. Poh et al. [1] ont montré que le rythme cardiaque et la respiration peuvent être extraits d’une webcam. L’objectif de ce travail est d’augmenter la robustesse et la qualité de la détection en analysant le signal avec un transformée en ondelettes continues.
Contexte et objectif
Méthodologie
Série de trames (RGB)
• Un filtrage colorimétrique permet d’isoler l’information utile. • L’analyse en ondelettes continues permet d’observer les variations
fréquentielles dans le temps.
Détection des pixels de couleur « peau » dans
l’espace YCbCr
Moyenne spatiale sur la composante U des pixels de couleur peau
Détection du visage par classifieurs boostés [2]
[2] P. Viola, M. Jones, Rapid Object Detection using a Boosted Cascade of Simple Features, Computer Vision and Pattern Recognition, Vol. 1, pp. 511-518 (2001)
[1] M. Poh, D.J. McDuff, R. Picard, Advancements in Noncontact, Multiparameter Physiological Measurements Using a Webcam. IEEE Transactions on Biomedical Engineering, Vol, 58, NO. 1, January 2011.
Changement d’espace de
couleur (RGB -> CIE LUV)
Transformée en ondelettes
continues du signal précédent
0 5 10 15 20 25-4
-2
0
2
4
50 100 150 200 250
10
20
30
40
50
60
Extraction et étiquetage des
zones ellipsoïdales
50 100 150 200 250
10
20
30
40
50
6050 100 150 200 250
10
20
30
40
50
60
Recherche des maxima de
chaque zone
Obtention de la variabilité
cardiaque (1)
0 0.5 1 1.5 2 2.50
1
2
3
X: 0.2513Y: 3.944
FFT du signal pour obtenir la
fréquence respiratoire (2)
Comparaison des résultats
avec un capteur BVP
0 5 10 15 20 250.75
0.8
0.85
0.9
0.95
0 5 10 15 20 250.75
0.8
0.85
0.9
0.95
• (1) Par transformation des échelles en fréquences sur tous les maxima.• (2) La respiration est déduite du rythme cardiaque par arythmie sinusale
respiratoire.
• L’algorithme est capable d’extraire en temps réel et de manière fiable le rythme et la variabilité cardiaque ainsi que la fréquence respiratoire.
• Le filtrage colorimétrique permet de sélectionner uniquement les pixels qui contiennent l’information. Les mouvements et rotations de la tête qui réduisaient la qualité du signal sont dorénavant moins influents.
• La composante U de l’espace colorimétrique CIE LUV a été choisie pour réduire les influences des variations de luminosité perçues par la caméra.
0 5 10 15 20 250.75
0.8
0.85
0.9
0.95
Frédéric Bousefsaf, Choubeila Maaoui, Alain Pruski
Recommended