View
214
Download
0
Category
Preview:
Citation preview
Institut de Recherche en Informatique de Toulouse
5 nov 2009 1
Analyse de la LSF
• Langue des signes, objet linguistique – Vidéo
• Méthodes de TS, de TI et de RF • Complexité
– Langue • Méthodes de TAL • Particularités des LS
• Langue des signes, langue parlée – Contexte de la LSF – Besoins - Applications
• Etudier la LSF • Enseigner, apprendre la LSF • Communiquer, travailler en LSF
• Justifications – Recherches / Applications
Institut de Recherche en Informatique de Toulouse
5 nov 2009 2
Analyse de la LSF
• Nos travaux – Passés
• Étude des composants : visage, mains • Formes graphiques • Modélisation ES
– Actuels • Segmentation par approche phonétique • Rôle du regard et couplage regard /gestes manuels • Configurations manuelles
– Applications • Editeurs : annotation, ES, Visage • Suite logicielle LogiSignes
– Projets • LS-Colin, LS-Script, SESCA, SignCom, DictaSign
– PRESTO
Institut de Recherche en Informatique de Toulouse
Langue des signes
• Langue des signes , objet linguistique Oral / écrit ? Il existe des formalismes de notation et une forme d’écriture
5 nov 2009 3
HamNoSys SignWriting
Mais on peut dire que les LS sont encore essentiellement orales
Institut de Recherche en Informatique de Toulouse
Langue des signes
• Langue des signes , objet linguistique donc les LS sont analysées à partir de données vidéo …
5 nov 2009 4
… qui posent aux traiteurs d’image des problèmes intéressants, car difficiles.
Institut de Recherche en Informatique de Toulouse
Langue des signes , objet de TI
• Problèmes de TS, de TI et de RF Personnage(s) évoluant dans une scène, dont on veut analyser les postures, les
gestes et les expressions qu’il(s) produi(sen)t dans le but de communiquer.
– Détection : de personnage, de composants corporels – Suivi – Reconstruction -> postures 3D, mouvements 3D – Segmentation : Spatiale / Temporelle – Caractérisation : formes, trajectoires, relations – Reconnaissance : de composants / de geste / de comportement
– Modélisation • Structurelle • Statistique
5 nov 2009 5
Institut de Recherche en Informatique de Toulouse
Langue des signes : objet de TI
• Complexité de TI
– Objet articulé, déformable, complexe (configuration des mains, mimiques faciales)
– animé de mouvements rapides, non linéaires – avec de fréquentes occultations – et de nombreux distracteurs – observé dans des contextes très variés
– qu’il faut traiter à différents niveaux de résolution (direction du regard --> balancements du corps)
– en temps réel et de manière robuste (traitement automatique de longues séquences vidéos)
– dans un cadre de monovision et sans maîtriser ni connaître les paramètres d’acquisition.
5 nov 2009 6
Institut de Recherche en Informatique de Toulouse
Langue des signes : objet de TAL
• Tous les niveaux d’analyse d’une langue – Signal : détection, suivi, caractérisation des composants corporels – Morpho-phonémique : – Syntaxe : ordre, organisation spatiale – Sémantique : lexique, construction du sens – Pragmatique : langage en contexte, dialogue
• Tous les domaines d’application du TAL – Reconnaissance de la parole – Recherche dans un document – Lexique, dictionnaire : fabrication, accès – Traduction – … + Génération
5 nov 2009 7
Institut de Recherche en Informatique de Toulouse
Langue des signes : objet de TAL
• Des langues des signes • Les langues des signes / la LSF • Analogies au niveau grammatical / lexique spécifique
• Spécificité des langues des signes – Canal visuo-gestuel ! propriétés linguistiques spécifiques :
• Multilinéarité • Utilisation de l’espace, • Iconicité
5 nov 2009 8
Institut de Recherche en Informatique de Toulouse
Langue des signes : objet de TAL
• Multilinéarité – Regard : genre discursif, interaction – Mimique : valeurs modales, aspectuelles, qualifiante, quantifiante – Tête : maintien du contact phatique, pointage – Buste : marqueur thématique et de frontières syntaxiques – Mains/bras : paramètres porteurs de sens
5 nov 2009 9
Langue d’expression corporelle
Institut de Recherche en Informatique de Toulouse
Langue des signes : objet de TAL
• Utilisation pertinente de l’espace • 3D : Espace de signation
– demi-sphère placée devant le signeur – Structuration spatio-temporelle de l’énoncé
• Personnages, choses, notions, évènements représentés et organisés dans l’espace de signation
• 3D+T : ordre des signes – moins important que leur arrangement dans l'espace.
Tendances : • Objets les plus grands ou statiques avant les plus petits ou mobiles • Décor, puis les accessoires et les personnages, puis l'action • Cause avant effet, stimulus avant réponse, …
5 nov 2009 10
Langue spatio-temporelle
Institut de Recherche en Informatique de Toulouse
Langue des signes : objet de TAL
• Iconicité – Lexique : iconicité d’image
• Ex : avion – Énoncés : iconicité diagrammatique
• Ex : verbes directionnels • Structures de transferts
– De taille et de forme • Ex : «!immeuble pointu»
– Situationnel • Ex : Relations spatiales
– Personnel • Ex : regarde par la fenêtre
5 nov 2009 11
Iconicité : Iconicisation de l’expérience perceptivo-pratique
Institut de Recherche en Informatique de Toulouse
Langue des signes : objet de TAL
• Complexité de TAL – TALN : Parole + Ecrit / TALS : vidéo (parole)
• Complexité à tous les niveaux d’analyse – Composants corporels :
• parallélisme – Morpho-phonémique :
• imbrication forme / sens – Syntaxe :
• ordre, • support de l’espace de signation
– Sémantique : • lexique, visée illustrative, iconicité
– Pragmatique : • étude d’une langue toujours en situation de dialogue
• 5 nov 2009 12
Institut de Recherche en Informatique de Toulouse
TALS : spécificité
• Traitement d’image – Améliorer les performances
• Méthodes de détection, de suivi et de reconnaissance – Spécialiser
• Intégrer des informations propres à la LSF dans les opérateurs de TI
• TALS – Les outils du TALN ne sont pas adaptés – Proposer de nouvelles modélisations
5 nov 2009 13
Institut de Recherche en Informatique de Toulouse
5 nov 2009 14
Analyse de la LSF
• Langue des signes, objet linguistique – Vidéo
• Méthodes de TS, de TI et de RF • Complexité
– Langue • Méthodes de TAL • Particularités des LS
• Langue des signes, langue parlée – Contexte de la LSF – Besoins - Applications
• Etudier la LSF • Enseigner, apprendre la LSF • Communiquer, travailler en LSF
• Justifications – Recherches / Applications
Institut de Recherche en Informatique de Toulouse
La LSF : une langue parlée
• Contexte – Langue interdite de 1880 à 1991 – Langue peu utilisée dans les milieux académiques
pas utilisée pour l’accès aux connaissances, dans la formation • Pas d’outils associés, pas de supports, peu de professionnels
– Langue peu étudiée • Pas de corpus de grande taille • Besoin de modélisation linguistique
• Situation actuelle (loi du 11 février 2005) – Reconnaissance officielle de la Langue des Signes Française – Droit d’usage dans les rapports avec les pouvoirs publics – Droit d’usage dans la scolarité (option bilingue) – Loi mise en œuvre :
• Programme de LSF, CAPES de LSF, LSF optionnelle au bac, MDPH … • Besoins : nouveaux, spécifiques
5 nov 2009 15
Institut de Recherche en Informatique de Toulouse
La LSF : une langue parlée
• Objectifs – Etudier la LSF : applications linguistiques
• Outils informatiques pour travailler sur la LSF (éditeurs) comprendre son fonctionnement (analyse)
• Validation des modèles – Enseigner, apprendre la LSF
• Outils et supports d’enseignement et d’apprentissage de la LSF – Communiquer, travailler en LSF
• Outils et supports d’enseignement en LSF • Communication à distance en LSF
– Messagerie en LSF, écriture en LSF • Accès à des systèmes d’information, Internet
– Requêtes en LSF => Comprendre des messages en LSF : traduction – Services en LSF => Générer et produire des messages en LSF (avatar)
5 nov 2009 16
Institut de Recherche en Informatique de Toulouse
5 nov 2009 17
Travaux de TCI sur la LSF
• Analyse des composants corporels – Analyse des déformations du visage – Détection et suivi des mains – Reconstruction de la posture des bras
• Segmentation temporelle – Caractérisation – Segmentation
• Analyse syntaxique : utilisation de l’espace de signation – Modélisation de l’espace de signation – Description / Construction
• Applications
Institut de Recherche en Informatique de Toulouse
Analyse des déformations du visage
5 nov 2009 18
Institut de Recherche en Informatique de Toulouse
Analyse des déformations du visage
5 nov 2009 19
Robustesse aux occultations
Institut de Recherche en Informatique de Toulouse
Détection du visage et des mains SUIVI
Prédiction de la zone de recherche des mains
(modèle structurel du corps)
Institut de Recherche en Informatique de Toulouse
Pointage
Institut de Recherche en Informatique de Toulouse
Suivi par filtre particulaire
Institut de Recherche en Informatique de Toulouse
Espace de signation
5 nov 2009 24
Espace de signation Emplacement
Entité Fonction
Locatif temporel absolu
Locatif temporel relatif
Actant
Locatif Lieu
Date
Animé
Action
Relations de composition
Relations d ’héritage
Action à destination implicite
Personne
Objet
Implicite
Institut de Recherche en Informatique de Toulouse
Editeur de l’espace de signation
5 nov 2009 25
Institut de Recherche en Informatique de Toulouse
Construction de l’espace de signation
5 nov 2009 26
Top
Main Buste Regard
Séquence Gestes Intervalle
Création de différents types d’entités
Différentes façons d’évoquer une entité
Séquences de gestes
pour chaque ACTS Gestes décrits dans les
séquences
composition
héritage
ACTS
ACTS = ACtion de Transformation de l’espace de Signation
Institut de Recherche en Informatique de Toulouse
Détection et suivi des articulateurs
5 nov 2009 27
Institut de Recherche en Informatique de Toulouse
Reconstruction 3D de la posture des bras
5 nov 2009 28
Institut de Recherche en Informatique de Toulouse
Segmentation temporelle en signes
5 nov 2009 29
Seed
Central symmetry : 0.1 Sagittal symmetry : 0.2 Double repetition : 0.0 Triple repetition : 0.0
Rectilinear displacement : 0.8 …
Aggregation
Confidence measures:
Sign : Csij=0.67
Transition : Ctij=0.4
Sign Sign Transition
Motion processing operators
Seed
40 41 42 43 44 46 649 653 657 661 665 669 673
i = 671 j = 677 Temporal segment S671,677
649
Institut de Recherche en Informatique de Toulouse
Espace de signation
5 nov 2009 31
Institut de Recherche en Informatique de Toulouse
Logiciel d’Annotation
5 nov 2009 33
vidéo
curseur
pistes
annotation
vignettes
Institut de Recherche en Informatique de Toulouse
Outil d’annotation
• SLAnnotation – Commentaires en français et/ou en LSF – Couplage avec le TI
PhotoSigne
5 nov 2009 34
Institut de Recherche en Informatique de Toulouse
Applications pédagogiques
5 nov 2009 35
impression
illustration
Institut de recherche en informatique de Toulouse
Partie élève Partie enseignant
Fermer
Nouveau
Dossier
Enregistrer
Enregistrer sous
Exporter
Aide
Ouvrir une vidéo
Début Rembobine
r
Image précédent
e
Lecture /
pause Ouvrir une
annotation
Enregistrer Supprimer
avant
Supprimer
Afficher l’annotation 1
Capturer le fond
Interface d’AVV
Institut de recherche en informatique de Toulouse
Exemples de documents produits par AVV
Commentaires en LSF sur une production en LSF
Cours en LSF
Présentation en LSF
Documentation technique en LSF
Institut de Recherche en Informatique de Toulouse
IRIT-TCI février 2008
Pôle de REcherche langue des Signes TOlosan
INTERPRETIS
UTM IRIT
UT1, UTM, UPS- CNRS - INPT
IRIS WEBSOURD
Recommended