Apports d’un modèle de l’espace de signation pour l’interprétation d’interactions en langue des signes

Boris Lenseigne, Patrice Dalle

[lenseign, dalle@irit.fr]

Structure sémantique :• Les entités de différents types évoquées dans le discours • Les relations sémantiques entre ces entités

À Toulouse (A), au cinéma Utopia (B), le film(C) qui passe le jeudi 26 février à 9h30 (D), la personne (E) qui a fait le film (F), c’est qui ? (G)

ABC

D

EF

G

Structure spatiale :• L’emplacement où sont réalisés les signes• Les structures grammaticales utilisées

Un modèle pour représenter la structure de l’énoncé

Contexte : réponse à des requêtes formulées en langue des signes

Un modèle pour décrire la construction de l’Espace de Signation (ES)

Éléments constitutifs du modèle

• Création d’une entité : ACtion de Transformation de l’Espace de Signation (ACTES)

– Une séquence de gestes, un emplacement et un intervalle d’émission

• Séquence :– Liste ordonnée de gestes + mécanismes de

propagation • Geste :

– État d’un composant + intervalle d’émission

• Main(s) / MainProduitSigne:• rôle : dominante/dominée

• synchronisation : symétriques/opposées/nil• mouvement : immobile/localisé/ample• axe : frontal/sagittal/vertical/nil• direction : plus/moins• configuration : fixe/changeante• localisation : Emplacement

Exploitation pour l’interprétation des requêtes par analyse d’images• Analyse réactive de la séquence d’images • Intérêt :

– Permet d’éviter une reconstruction exhaustive des gestes

– Modèle généraliste :• Se focalise sur la structure de

l’énoncé pas sur le lexique– Rend possible l’analyse du

lexique dans un contexte très réduit (celui des entités d’un type donné).

Vérification dans les images

Modèle de construction de l’ES

Espace de signation

ACTES

Composants Oui / Non / *

Validation