Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche)

Quel outil de notation pour quelle analyse de la LS ?

Participants :

Annelies Braffort4, Annick Choisier4, Christophe Collet4, Christian Cuxac1, Patrice Dalle3, Ivani Fusellier1, Rachid Gherbi4, Guillemette Jausions3, Gwénaëlle Jirou1, Fanch Lejeune2,4, Boris Lenseigne3, Nathalie Monteillard1, Annie Risler1, Marie-Anne Sallandre1

Projet pluridisciplinaire laboratoires et universités en présence :

1-Sciences du Langage, Université Paris 8 (linguistique de la LSF)2-CAMS-LaLIC, Université Paris 4 (linguistique cognitive)3-IRIT-TCI, Université Toulouse 3 (informatique et traitement de l'image)4-LIMSI, CNRS, Orsay (informatique)

1. Présentation de l'action LS-COLIN 1.1. Hypothèses - sur la Langue des Signes - sur l'apport du traitement d'image 1.2. Objectifs de l'action

2. État de l’art et présentation de la démarche retenue 2.1. Systèmes d’écriture et de transcription

- Systèmes d’écriture - Systèmes de transcription « en partition » - Éditeurs multimédias

=> besoin d'un formalisme et d'un outil commun de transcription

2.2. Notre démarche : "cognitivo-linguistico-informatique" => les systèmes existants ne sont pas adaptés à nos besoins => étude d'un outils spécifique

3. Réalisation d'un éditeur de partition3.1 - Spécification d’un éditeur entièrement manuel - Rôle de l’éditeur - Aspect graphique de l’ éditeur - Description détaill ée de la partie transcription

3.2. Possibilité d’automatisation partielle par traitement d’images - Fonctionnalités du traitement d’image - L’apport du TI dans le projet LS-COLIN

- Réalisation de l’int erface de pilotage d’une séquence vidéo

4. Perspectives et conclusion

PLAN

II. Formalismes de notation

II. Formalismes de notation

Notation de Stokoe•Premier système de notation•Créé pour prouver que l’ASL est une langue

•Toute langue doit avoir une écriture•Recherche de la double articulation

•Peu précis

II. Formalismes de notation

HamNoSys•Développé à Hambourg pour l’étude des langues des Signes•Méthode de transcription•Décrit très précisément le signe•Introduction des éléments de prosodie•Pas de primitives pour l’expression du visage•Développé pour être applicable à toutes les langues des Signes

II. Formalismes de notation

II. Formalismes de notation

Forme généralede HamNoSys

Exemple : ASL « fatigant »

III. Outils de saisie pour les langues des signes

SyncWriter•Outil de transcription pour les linguistes•Utilise HamNoSys•Pistes configurables

III. Outils de saisie pour les langues des signes

SyncWriter•Outil de transcription pour les linguistes•Utilise HamNoSys•Pistes configurables

•Format d'impression A4

III. Outils de saisie pour les langues des signes

SignStream•Outil de gestion d’une base de données de signes•Utilisé surtout par les linguistes•Codage spécialisé pour les linguistes

III. Outils de saisie pour les langues des signes

SignStream•Outil de gestion d’une base de données de signes•Utilisé surtout par les linguistes•Codage spécialisé pour les linguistes

•Lecteur vidéo intégré

III. Outils de saisie pour les langues des signes

SignPS•Issu d’un projet européen (TIDE)•Codage propre•Utilisable pour la recherche et par le grand public•L ’introduction du TI est à l ’étude

G Signe bonjour I MD

C Regard RF RD

Aspect graphique de l’éditeur

Données: séquences vidéo

Détection des zones d’intérêtsEntités statiques Locuteur MainsTête

Extraction information mouvement

Entités dynamiquesTrajectoireMotifs temporels

Caractérisation et organisation information

extraite

Types de trajectoires particulières: droite, arc, …GlissementContactBalancement …

Vitesse; AccélérationDurée; Direction

Forme, Orientations globales et locales, nombre de régions

Automatisation par Traitement d ’ImagesTypes de traitement

Lecteur vidéo récupération des images pour traitement

Extraction du locuteur

- Comparaison avec une image de référence du fond

- Filtrage et traitement morphologique

Extraction des entités mains et tête

1. Extraction des zones de peau

2. Identification des différentes régions par critères de taille et forme

Mains, Tête

Représentation du mouvement par motifs temporels

Intensité pixel = fonction historique du mouvement

Principe Adaptation à la LS