Analyse automatique des expressions du visage

Hugo MERCIER - Equipe TCI

Directeur de Recherche: Patrice DALLE

Application à la Langue des Signes

1/16

Problématique Etat de l'art Expressions du visage et Langue des Signes Formalisme proposé Architecture proposée

Sommaire

2/16

Domaine émergent Applications

IHM (modalité d'intéraction) Animation Compression (adaptée au visage) Psychologie, linguistique

Ici expressions = composantes langagières En lien avec travaux TCI

Guillemette JAUSIONS AS IG Equipe projet

Introduction

3/16

Analyse pour l’interprétation des expressions: Formalisme de représentation Coût de l'analyse Architecture système

Langue des Signes ? Hypothèse de continuum avec les expressions du co-verbal

Problématique

4/16

FACS (Facial Action Coding System) Ekman, Friesen, 1978 Décomposition élémentaire des mouvements du visage 46 'Action Units' (Action Faciales) Analyse manuelle

Etat de l'art: formalismes

AU 10 AU 15 AU 26

AU 1

5/16

MPEG4 (Moving Picture Experts Group) Face and Body AdHoc Group, 2001 Mesures relatives Plus bas niveau que FACS

Etat de l'art: formalismes

6/16

Plusieurs rôles: Lexical

Composante de définiton d'un Signe Quantifiants (gros, grand, ...)

Syntaxique Mode du discours (conditionnel, interrogatif, ...)

Sémantique Emotions en Transfert Personnel

Formalisme ? Intégration de l’aspect langagier: les informations de bas

niveau sur les états musculaires ne suffisent pas

Expressions et Langue des Signes

7/16

Quantifiants “Plissement des yeux, froncement du nez et des sourcils,

lèvres serrées et projetées vers l'avant: minuscule” “Joues légèrement gonflées, front plissé, air dur, mâchoires

serrées: fort, costaud” Expressions modales

Hypothèse mentale: “clignement très bref des yeux suivi d'une fuite du regard ultra-rapide vers le haut”

Intégration de ces connaissances ? Mesures floues Aspect temporel Définitions subjectives

Définitions linguistiques

8/16

Inspiré du formalisme des experts (linguistes) A base de règles

Règles de compositions de connaissances Connaissances élémentaires

États musculaires Connaissances composées

Opérateurs de composition (spatiale et temporelle)

Formalisme proposé

9/16

Types de compositions: Redéfinitions (symétrie et autre) Actions faciales (simple, tremblement, ...) Expressions

Opérateurs Conjonction ',' Disjonction '||' Séquencement '+' Négation '-' Eventualité '?'

Formalisme proposé: compositions

10/16

Redéfinitions Sourcils-relevés <=> sourcil-gauche-relevé, sourcil-

droit-relevé Souffle-air <=> bouche-ouverte, joues-gonflées

Actions faciales Tremblement-joues <=> af-tremblement [ gonflement-joues ]

Expressions Gonflement des joues, plissement des yeux, souffle d'air en continu: grande quantité

de Grande-quantité <=> (joues-gonflées, yeux-plissés) +

souffle-air ( durée = longue ) Représentation sous forme XML

Traduction des définitions linguistiques

11/16

Buts: Rester proche de la compréhension humaine Analyser à moindre coût

Limites de l'analyse classique Il est trop coûteux d'extraire les informations indépendamment

sur chaque image Idée

Il est moins coûteux de prédire et vérifier des informations plutôt que de les extraire sur chaque image de la séquence vidéo

Interprétation

12/16

Analyse bi-directionnelle Analyse ascendante classique (extraction)

Partir des données brutes (images de la séquence) pour déduire des connaissances de haut niveau

Analyse descendante (prédiction / vérification) Rester à haut niveau et se contenter de vérifier certaines

connaissances par prédiction Basculement critique

L’analyse descendante nécessite une analyse ascendante (initialisation, apport de nouvelles informations, reprise sur erreurs)

Mécanisme de contrôle ?

Architecture proposée

13/16

Prédiction / vérification simple Par défaut, opérateur d’extraction (ascendant) Règle en partie validée sur une image:

Mise en priorité des opérateurs de vérification Règle dont une partie temporelle a été validée:

Mise en priorité de la règle sur l’image suivante Mise en priorité ~ Prédiction

Algorithme

14/16

Gros <=> (joues-gonflées, bouche-fermée) + (joues-neutres, bouche-ouverte)

Joues: pas d'opérateur d'extraction (vérification uniquement)

Algorithme: illustration

15/16

Proposition d'un formalisme et d'une architecture pour l'interprétation des expressions en Langue des Signes

A faire: Valider le formalisme

linguistes Valider l’architecture

Implantation Opérateurs extraction / vérification Mécanisme de contrôle

Traiter les problèmes d’occultation et de changement de pose très présents en Langue des Signes

Envisager d'autres niveaux d'analyse ? (statistique des Expressions du visage en Langue des Signes)

Conclusion

16/16