Modélisation du geste communicatifModélisation du geste communicatifet réalisation d’un signeur virtuelet réalisation d’un signeur virtuel

de phrases en Langue des Signes Françaisede phrases en Langue des Signes Française

Olivier Losson

Interaction, Image, et Ingénierie de la décision (I3D)

Cité scientifique

59650 Villeneuve d ’Ascq

Directeurs de thèse : J.-M. Toulotte, B. Cantégrit

Sommaire de l’exposéSommaire de l’exposé

Introduction Etat de l’Art Buts recherchés et démarche adoptée Spécification du signe Synthèse du signe Spécification et génération de phrases signées Evaluation des signes synthétiques Conclusion et perspectives

Le geste de communicationLe geste de communication

Définition Mouvement intentionnel et significatif du corps Fonction informative Conforme à un code reproductible, contrôlable

Catégorisation (Kendon)

Disparition progressive de la parole Apparition de caractéristiques langagières

Gestes co- Gestes de Langueverbaux para-langage des signes

Pantomime Emblèmes

La langue des signesLa langue des signes

Une langue à part entière Double articulation Grammaire et syntaxe propres Capacité à transmettre le message sans ambiguïté Mécanismes paralinguistiques

Variations Evolutions diachroniques Variantes nationales, régionales, sociales, ethniques ...

Un sujet d’étude privilégié pour le geste ...

Vers des interfaces gestuellesVers des interfaces gestuelles

Le geste en interaction homme-machine Une réponse aux handicaps

Outils dédiés à la langue des signes Les besoins de la communauté sourde Outils spécifiques basés sur la vidéo

Dictionnaires bidirectionnels Didactitiels

Vers des interfaces adaptées aux signes

Signes en entrée : capture et identificationSignes en entrée : capture et identification

La capture Caméra (+gants colorés/marqueurs luminescents) Capteurs 6D et gants numériques

ExemplesA. Braffort, H. Sawada, ...

La reconnaissance Détection des limites (segmentation) Influence entre gestes (coarticulation) Variabilité (inter/intra-personnelle)

Signes en sortie : synthèse (1)Signes en sortie : synthèse (1)

Les limites de la vidéo Contraintes de création Volume d’information (stockage / transmission) Flexions et production de phrases signées Exemple de LAC

Premiers travaux d’animation synthétique Succession de motifs animés sur fond fixe

Harrison, 82 Projet H.A.N.D.S. (HamNoSys)

Première synthèse 3D (Shantz & Poizner, 82)

Signes en sortie : synthèse (2)Signes en sortie : synthèse (2)

F. Godenschweger Dessin au trait animé Spécification de bas niveau

T. Lebourque (LIMSI) Génération de mouvements naturels Langage formel de description du signe

« Signing Avatars » Tenants et aboutissants ? Reproduction de signes captés ?

Tenants et aboutissantsTenants et aboutissants

Chaîne globale de traductionAnalyse

grammaticaleTextesource

Analysesémantique

Correspondance,ordonnancement

Synthèsegraphique

Phrasesignée

Spécificationdes signes

Phrase à signer

“mots-signes”

Evaluationdes signes

Modèle du signeur virtuel

Représentationintermédiaire

Synthèsegraphique

Primitivesde synthèse

Détail de la synthèse

Buts recherchés et démarche adoptéeButs recherchés et démarche adoptée

Spécification Lisibilité et compacité de la description

Description textuelle (pas de symbole) Intégrité du message + généricité

Base = études linguistiques (phonèmes gestuels)

Génération Approcher le temps réel

Sophistication graphique limitée Production de phrases complètes

Etude et modélisation des processus grammaticaux

Histoire FxF

Travaux de Stokoe (65)

Chérèmes T D S

Tabular T : Position

Designator D : Configuration

Signation S : Action effectuée par D dans la position T

Validation Battison (74) : Orientation; Klima & Bellugi (78) Nève de Mevergnies (98) : gestèmes COLORIACT Autres ensembles : HamNoSys, Liddell & Johnson

Bases linguistiquesBases linguistiques

Spécification manuelle ConfigurationConfiguration

OrientationOrientation

LocalisationLocalisation Point manuel

Primitive de déplacementPrimitive de déplacement

ni

paume ( )index ( )

Primitive de déplacement Spécification manuelle initiale MouvementMouvement Spécification manuelle finale

Mouvement principal 3 types de trajectoires Dynamique (emphase)

MouvementMouvement

Mouvement secondaire des doigts du poignet

Primitive de déplacement

Spécif manu I

Spécif manu F

Spécif manu tr

MVT

Mvtprinc

Forme chemin

Modifmvt

Mvtsec

Outil Vision Suivi manuel Tableur

Résultats

Mouvement : étude de la dynamiqueMouvement : étude de la dynamique

td tf

vmax

tf- t

v

)(tvd

)()(.)( tvtvktv fd

)()( ttvtv fdf ex. Signe

Piquer

DéplacementDéplacement

3 formes

Complète Conservation de Anti-symétrieposition relative

Symétrie des articulateurs

Macro-déplacementMacro-déplacement

Signe = 1 ...(LSF/ASL justice)

... ou plusieurs déplts.(LSF bibliothèque)

Répétitions Fonctions linguistiques

lexicales grammaticales (pluriel, nom/verbe)

Plusieurs formes identifiées

Spécification hiérarchique complèteSpécification hiérarchique complète

Paramètres« faciaux »

Caract.statiques

Caract.dynamiques

Primitivede dépl.

Primitivede dépl.

SpécifmanuelleMain base

Primitivede dépl.

Main dom.

Primitivede dépl.

Non dom.

Relationspatiale

µ-dépl. 1 µ-dépl. n

Dépl. 1 Dépl. m

SIGNE

Tenueinitiale

Tenuefinale

Répét.

Spécif.manu.initiale

Spécif.manu.finale

Spécif.manu.transit.

Mouvement

Configmanu

Loc Ori Pointmanu

Mvtprincipal

Formechemin

Modifmvt.

Mvtsecond.

Config V

Configurations manuellesConfigurations manuelles

Contacts réels/virtuels

Config. digitales

Formes statiques des doigts

Propriétés man.

*Postures pouce*Abduction doigts

Contraintes artic.

Angles limites statiques et dyn.

5 : Plié2 : Tendu3 : Tendu

Abduct: 2,3Recouvert : 4

i= f (i-1 i+1 )= g (

Pulpe: 1,2

Localisation et OrientationLocalisation et Orientation

Localisation Moyenne des configs « naturelles »

prédéfinies pour le bras Définition explicite

OrientationCorrespondance avec la matrice

d’orientation souhaitée

pour le système bras/main Point manuel

)( nini

s

s

s

e

w

e

w

sourcils

yeux

jouesboucheépaules

tête | visage

Expressions facialesExpressions faciales Eléments du « visage »

Exemples

Sombre Content Faible S’asseoir

Sign #Se_déplacer .Manual: Shift from: (HandSpec config: #Index at: [UpperTorso FrontProx ...

to: (HandSpec at: [UpperTorso FrontProx Sagittal] ori: [bcc ... move: #Natural

NonManual: head followsDominantHand

Signe Se_déplacer

Analyse synt. / Evaluation

Synthèse graphique

De l’encodage à la synthèseDe l’encodage à la synthèse

Le discours signéLe discours signé

Utilisation de l’espace Localisation Accord agent/patient

(Verbes directionnels)Signeur

Interlocuteur

Je, moi

Tu, toi

Il, elle, eux(à droite)

Il, elle, eux(à gauche)

Localisations et accords pronominauxLocalisations et accords pronominaux

Localisation ex. Maison(gauche), Garçon(droite)

Accord pronominalex.: verbedirectionneldemander

demander(toi, moi) (moi, toi) (moi, lui)

Le discours signé (suite)Le discours signé (suite)

Utilisation de l’espace Localisation Accord agent/patient

(Verbes directionnels)Signeur

Interlocuteur

Je, moi

Tu, toi

Il, elle, eux(à droite)

Il, elle, eux(à gauche)

Autres flexions sur les signes Rythme Amplitude du mouvement Types de clause :

mécanismes non-manuels

Interaction discours/signe paramétrage

Autres flexions sur les signesAutres flexions sur les signes

Flexions spatio-temporellesex. Faire_la_vaisselle

(long pénible)

Signes paramétriquesBoîte(petite) Boîte(grande) Signes génériques

Jour_semaine(vendredi)

Jour_semaine(lundi)

Editeur textuelde signes

Analyse,évaluation et

synthèseDictionnaire

de signes

Editeur graphiqued’entrées du dictionnaire

Visualisation 3D

Editeur textuelde phrases

Supportphysique

Sélecteur de signes

Editeur graphiquede signes

Sign %Maison .Manual:s1 = Shift from: ( HandSpec config: #Moufle poin to: ( HandSpec point: #MiddleTip at: [170 42 move: #Natural weakMove: #Symmetrical.s1 repeat .

Synoptique de la synthèseSynoptique de la synthèse

\YNQ4 Toi rester maison toi

r

Analyse, évaluation et

synthèse

Synthèse de phrases signéesSynthèse de phrases signées\CND2 jour_semaine (vendredi) il_pleut

\NO3 je rester maison aller bibliothèque je

%Julie(droite) téléphoner(Julie,moi) fini.

Arriver>endroit être_en_retard elle(Julie).

Synthèse de phrases signéesSynthèse de phrases signées%Julie(droite) téléphoner(Julie,moi) fini.

Arriver>endroit être_en_retard elle(Julie).

Méthodologie de l’évaluationMéthodologie de l’évaluation

Contenu 50 signes représentatifs forme de citation (hors contexte) possibilité de tester à distance (HTML+e-mail)

Protocole 8 informateurs dont 5 sourds demander l’acception perçue + nombre de visualisations évaluer la distance sémantique et classifier expliciter la (les) raison(s) de non-identification

RésultatsRésultats Tests 1-8 (moyennes)

Evaluation de phrases : marquage des clauses améliorer les expressions non-manuelles implanter les pauses (étude théorique seule) prendre en compte le rythme de production (rupture)

70%

18%

9% 3%

Correct/Proche

Inconnu, différent, hors contexte

Caractéristiques mal perceptibles

Problème de vision (profondeur)

ConclusionConclusion

Création des signes Système de spécification (grammaire formelle) Interface graphique d’édition

Génération de phrases signéesFlexions sur les signes (processus grammaticaux)

Module de synthèse graphique

Avantages par rapport à la vidéo Facilité de création; signes fléchis Compacité de la description textuelle

PerspectivesPerspectives Applications

EAO, en particulier à distance (faible volume nécessaire)

Analyses syntaxique & sémantique traduction Sous-titrage automatique (ex. télétexte) Traduction de pages web

Evolutions du système Rythme de la phrase Synchronisation des articulateurs Fluidité et rendu du signeur

Langage compilé (transcription Smalltalk C++) Avatar volumique expressif piloté en VRML

RemerciementsRemerciements

Membres du jury MM. Pruski et Millot P. Coiffet, F.-X. Nève, S. Gibet, et M. Girod J.-M. Toulotte et B. Cantegrit

Contacts avec le public sourd Association I.V.T. (Vincennes) Association S.I.E. (Lille) C.R.E.S.D.A. de Pont-à-Marcq Association SELOS (Lille)

Membres d’I3D Les (nombreuses) personnes qui m’ont encouragé!

Marqueurs de clausesMarqueurs de clauses

Marqueurs de clauses

Négative Assertive Conditionnelle Interrogative Thématique

Accord agent/patient : DONNERAccord agent/patient : DONNERSign %Donner (agent , patient) .

Manual:

me = HandSpec config: #BecCanard point: #IndexTip at: [UpperTorso FrontCont...

me selectors: Parameter firstPersonSingular.

you = HandSpec config: #BecCanard at: [LowerTorso 70 11] ori: [Supinated].

you selectors: Parameter secondPersonSingular.

Shift from: agent selected

to: patient selected

move: #Linear.

Donner(je,toi) Donner(lui,moi) Donner(tu,lui)

Application : intégration à LACApplication : intégration à LAC

Logiciel multimédia destiné Au public sourd

acquérir des connaissances spécifiques s’entraîner à lire

A tout public se familiariser avec diverses techniques de communication enrichir ses connaissances

Présentation 2 parties d’aspect proche : utilisateur & editeur Accessibilité

LAC + signeur virtuelLAC + signeur virtuel