Mariapaola D’Imperio LPL, CNRS & Université de Provence

Interprétation linguistique du contour intonatif : méthodes acoustiques,

physiologiques et psycholinguistiques

Mariapaola D’ImperioLPL, CNRS & Université de Provence

16 mars 2007 – Université Paris VII

2

Plan de l’exposé1. Introduction

- Cadre general:a. Phonologie de laboratoire et phonologie intonative b. Théorie Autosegmentale-Metrique (AM theory)

2. Le contour intonatif et ses cibles a. Données acoustiques

-algorithmes pour l’extraction des cibles tonalesb. Données physiologiques

-Optotrak et EMAc. Données psycholinguistiques

-identification et mouvements oculaires

3. Comparaison inter- et intra-linguistiquea. langues romanes : apport syntaxique et prosodique au

phrasing b. parole de laboratoire vs. parole spontanée. Exemples d’un corpus Map Task.

3

Retombées fondamentales

Paradigmes Linguistiques

Outils d’acquisition de signaux

Théories linguistiques

sur la prosodie

Retombées

appliquées

VALIDATIONPERCEPTIVE

(synthèse, reconnaissance, étiquetage automatique, dialogue homme/machine, apprentissage de L2)

RÉCUPÉRATIONDE CIBLES TONALES

ACOUSTIQUES/CORRÉLATIONS

AVEC PRODUCTION

Modélisationacoustique

Théories psycho-acoustiques

(fondation perceptive et physiologique des primitives théoriques)

4

Approche de la Phonologie de Laboratoire

• Tester certaines hypothèses phonologiques explicites (pas nécessairement à l’intérieur d’une théorie)

• Objectif ultime: renforcer les bases scientifiques de la phonologie

Les modèles phonologiques doivent permettre de faire des prédictions explicites qui peuvent être testées par l’expérimentation

5

Pourquoi la phonologie de laboratoire?

• Pierrehumbert (1990): “Si la phonétique n’est pas reliée à la phonologie, elle modélise des bruits et des gestes auxquels aucune signification ou catégorie structurelle ne peut être assignée. Une théorie englobant la phonologie, la phonétique et leur relation entre elles est nécessaire pour asseoir les fondations d’une théorie du processus langagier et de l’acquisition du langage ”.

6

m e 't a (foglio)

• Au niveau segmental : séquence d’événements phonologiques discrets

• Au niveau intonatif : séquence d’événements phonologiques discrets

LH !HL

Outil théorique : Phonologie Intonative

7

Autosegmental-metrical theory(Pierrehumbert 1980, Pierrehumbert and

Beckman, 1988, inter alia)

– Structure tonale : séquence d’événements tonals (Hs, Ls) associés avec des têtes ou des frontières de domaines prosodiques

– Accent mélodique : ton associé avec une syllabe métriquement forte, monotonal (e.g., H*, L*) ou bitonal (e.g., L+H*).

– Ton de frontière : ton aligné avec la frontière d’un constituent prosodique de niveau plus haut (e.g., accents de syntagme H-, L-).

T* T

ip

8

Pourquoi approche autosegmentale ?

• Simplicité et pouvoir descriptif (comparaison inter-

langues)• Lien entre structure tonale et texte (association

et alignement)• Applications technologiques (synthèse multilingue)

9

Association de la mélodie au texte

• Même contour (tune), mais mots différents (tiré de Grice, D’Imperio, Savino and Avesani, 2005).

L*+H HL-(rise) (fall)

NAno

10

• Même contour (tune), mais mots différents (tiré de Grice, D’Imperio, Savino and Avesani, 2005).

L*+H HL-(rise) (fall)

BELla mano di MAM

Association de la mélodie au texte

11

Modèle d’interpolation des cibles

= underspecified regions= specified tonal targets

12

THEME #1THEME #1

DONNEES ACOUSTIQUES

13

Time (s)0 1.60397

0

5000

Time (s)0 1.60397

0

500

Time (s)0 1.60397

0

500

Pierre viendra ce soir

[][v] [d][]

F0

F0 est perturbé en cas de forte constriction du conduit vocal et absente dans segments sourds

Représentation de la F0

[s] [s]

14

Time (s)0 1.60397

0

5000

Time (s)0 1.60397

0

500

Time (s)0 1.60397

0

500

Pierre viendra ce soir

F0

Mais….notre perception du contour intonatif fait abstraction de ces perturbations.

Abstraction du contour

15

Time (s)0 1.60397

0

5000

Time (s)0 1.60397

0

500

Time (s)0 1.60397

0

500

Pierre viendra ce soir

F0

Degré d’abstraction encore plus important : analyse en cibles tonales.

L L

H HH

L

Cibles tonales

16

LHL LH HL

Rise-fall FallRise

Interprétation linguistique du contour

Niveaux tonals vs. configurations

17

Alignement = synchronisation temporelle de certaines parties de la courbe de F0 (points cible) avec des unités ou des frontières segmentales.

(Silverman and Pierrehumbert, 1990; Arvaniti et al., 1998; Ladd et al., 1999, 2000; D’Imperio, 1995, 1997, 2001; inter alia).

Cibles tonales et alignement

time

L a l l aF0

scalin

g

Pic F0

18

Variabilité acoustique et modélisation

Variables linguistiques :• structure focale• structure syllabique• position dans le mot• position dans la phrase• environnement segmental

M a R I a

19

– Tonal crowding (D’Imperio, 2001; Silverman and Pierrehumbert, 1990)

– Longueur phonologique et structure syllabique (Ladd et al., 2000; D’Imperio, 2000)

– Composition segmentale de la syllabe (van Santen and Hirschberg, 1994; Rietveld and Gussenhoven, 1995)

– Débit de parole (Ladd et al., 1999)

Facteurs qui influencent l’alignement

20

Longueur phonologique et structure syllabique

• En italien, les voyelles en syllabe ouverte (pénultième) accentuée sont longues (D’Imperio & Rosenthall, 1999 ; Van Santen & D’Imperio, 1999).

• La durée consonantique est contrastive (nono “neuvième”/ nonno “grandpère”), mais la durée de la voyelle précédente varie en fonction de la quantité consonantique.

21

Structure syllabique et alignement (D’Imperio 2000; D’Imperio, Petrone and Nguyen, 2004)(D’Imperio 2000; D’Imperio, Petrone and Nguyen, 2004)

A. Nonno « grandpère »

L*+H

B. Nono « neuvième »

il

L*+H H

vedrai n o nn o

L*+H H

vedrai il n o n o

22

L?

Exemple 1 : Individuation d’une cible tonale (D’Imperio 1999, 2002)

Hypothèses: a. Pas de cible contrôlée. b. Une cible de niveau bas (L), dont alignement et F0 sont contrôlés.

b1. LH* LH*b2. H*L H*

23

Analyses compétitives

1. (L)H H H

2. (L)HL H H

3. (L)H LHLH

sagging interpolation(cf. Pierrehumbert, 1980 for A. English)

L est une cible

L est une cible

Corpus : 1, 2 ou 3 mots dans constituent focalisé(mamma, mano di mamma, bella mano di mamma)

24

Mesures

25

H

L

Régression linéaire (Elbow detection) (D’Imperio 1995, 2000, 2002)

26

Pente moins rède pourconstituants focalisésà 3 mots

Régression linéaire et pente

2 MOTS

3 MOTS

L(H)

L

27

Régression logistique (D’Imperio, 2000)

28

• Vérifier l’existence de différences formelles et acoustiques entre les accents nucléaires (IP-final) et prénucléaires (non-final de IP) ascendants, qui ne sont pas attribuables à la structure segmentale.

[[Les amis]AP [de mami]AP]S/IP [[ils n’arrivent que demain]]S/IP

Exemple 2: structure intonative du français

(D’Imperio et al., 2006)

[(H*)AP (H*)AP]IP ?

29

Méthode : approche double

1. Transcription auditive de l’emplacement et du type d’accent mélodique, ainsi que de la frontière prosodique.

2. Mesures acoustiques (hauteur et alignement des cibles tonales, etc.)

30

1 ou 2 cibles?

L? L?

31

Modélisation acoustique des cibles

L

H

MOMEL (Hirst et al. 2000)

2-line regression (D’Imperio, 2000)

L

1 ou 2 cibles?

[[Les amis]AP [de mami]AP]S/IP [[ils n’arrivent que demain]]S/IP

32

Résumé Intermédiaire

• L’interprétation linguistique du contour de F0 dépend fortement de la notion de cible tonale.

• Les hypothèses sur la structure tonale ainsi que sur la nature et la taille de l’inventaire d’accents mélodiques d’une langue donnée peuvent être testées à l’aide de la phonologie de laboratoire.

33

THEME #2THEME #2

DONNEES PHYSIOLOGIQUES

34

Acquisition données articulatoires

Trajectoires verticales de la lèvre inférieure

OBJECTIFS : 1. Corrélation entre contrôle tonal et contrôle du conduit vocal.

2. Alignement systématique des cibles tonales avec des repères articulatoires.

F0

temps

MAMma

Accent de focus

35

Acquisition données articulatoires : EMA

• Articulograph (Carstens AG-100, 2-D EMA system).

• Système electro-magnétique à 2 dimensions.

• 9 capteurs (lèvre supérieure et inférieure, mandibule, 4 sur la langue, 1 sur nez et incisifs supérieures).

36

Hypothèse

Les cibles H sont alignées/synchronisée avec des événements articulatoires cruciaux indépendamment de la structure syllabique et du débit de parole.

37

LATENCY (s)

F0

Latency

F0 values

Articulatory Trajectory/Velocity

Vv0 v1

Mesures

peakmin2

Linear velocity of tongue apex_y

38

waveform

étiquettes

F0

distance entreles levres

m a mm a

Visualisation des données

39

THEME #3THEME #3

DONNEES PSYCHOLINGUISTIQUES

40

• Ward et Hirschberg (1985) proposent qu’en anglais américain il y a un contraste de sens entre accents montants avec un pic avancé et accents montants avec un pic retardé.

Alignement et catégories accentuelles

41

A: I’d like to fly to Davenport, Iowa on TWA.

B: TWA doesn’t fly there ...

50

100

150

200

250

300

350

400

they fly to Des Moines 50

100

150

200

250

300

350

400

they fly to Des Moines

EARLY PEAK (assertion) LATE PEAK (suggestion/uncertainty)

L+H* L*+H

Alignement et catégories accentuelles

42

Alignement et catégorialité • Pierrehumbert & Steele (1989) synthétisent plusieurs

contours intonatifs avec différents degrés d’alignement du pic, en demandant d’imiter le contour perçu par des locuteurs.

• L’alignement des pics des réponses des locuteurs n’était

pas graduel, mais dans deux catégories distinctes : pic avancé (‘assertion’) ou retardé (‘suggestion’).

43

decl

decl

inter

interHz300

200

0 500 1000 1500 ms

Mamma andava a ballare da Lalla

(D’Imperio et House, 1997; D’Imperio et al. 2000; D’Imperio 2001, to appear) .

Q = L*+HL

Alignement et contraste

A = L+H*

? question

affirmation

L A L la

Une différence temporelle minimale est cruciale pour la catégorisation (justification perceptive).

L

44

Stylization et resynthèse du contour

L*+HVedrai il nono?“Verras-tu le neuvième?”

Stimuli synthétiques

45

F0

(H

z)25

020

015

030

0

L1

H

L 2

210 210

280

180

150

Time

Alignment: A. Linear stylisation

F0

(H

z)

Shift (msec)0-15 15 30

250

200

150

300

Vocalic offset

A2A1 A3 A4

L 2

H

L1

Alignment: B. Temporal shift

Méthode

46

Changement catégoriel du à la manipulation temporelle (S-shaped curve)

543210

20

40

60

80

100

Decl. peakDecl. fallInter. peakInter. rise

Stimulus number

Perc

en

t "s

tate

men

t" r

esp

on

ses

Exemple de résultats

180

200

220

240

260

Hz

200 ms

d a l a l a

A. Decl. peak stimulus no:1 2 3 4 5

47

Effet de l’intonation sur la résolution de l’anaphore

• Les auditeurs se servent de la catégorie accentuelle pour identifier l’objet auquel on fait référence (Dahan et al. 2002).

• Eye-tracking A. “Put the candle/candy below the triangle.”

B1. NOW, put the CANDLE above the squareB2. NOW, put the candle ABOVE THE SQUARE.

fixation to fixation to candycandy

fixation to fixation to candlecandle

CANDLE (accentué) est CANDLE (accentué) est non-anaphorique non-anaphorique

candle (non-accentué) est candle (non-accentué) est anaphoriqueanaphorique

48

Mouvements oculaires

49

Pierrehumbert & Hirschberg, 1990Compositional tune meaningPA typesmeaningH* Added to mutual belief space.

L* Already part of mutual beliefs.Salience-without-predication

L*+H Uncertainty, lack of speaker commitment

L+H* Contrast with some alternative related item

Catégories tonales et pragmatique : Eye-

tracking (Ito et Speer 2005)

http://www.ling.ohio-state.edu/~speer/ExptPrag_shorter.ppt

50

Parole semi-spontanée (unscripted speech)

• Tâche: Donner des instructions pour décorer un arbre de Noël– L’écran montre une photo d’un ornement et une photo

d’un arbre avec une étiquette (e.g. blue ball) indiquant l’emplacement de l’ornement.

• Newness, Givenness & Contrastiveness manipulées par ordre d’occurrence dans le discours.New: The first mention of the discourse entityGiven: Subsequent mentions of the discourse entityContrastive: Immediate repetition of an entity.

E.g. blue ball -> blue DRUM / blue ball -> RED ball

http://www.ling.ohio-state.edu/~speer/ExptPrag_shorter.ppt

51

*

*

*

*

*

16 17

18 19 20 21 22

23 24 25 26 27

28 29 30 31 32

*

* *

* *

* * *

*orange orange candycandy

http://www.ling.ohio-state.edu/~speer/ExptPrag_shorter.ppt

52

Exemples

Time (s)0 0.961729

50

200

Time (s)0 0.751954

50

200

http://www.ling.ohio-state.edu/~speer/ExptPrag_shorter.ppt

53

Question

Est-ce que l’emplacement d’un accent de type L+H* sur un modificateur (e.g. adjectif de couleur) facilite la recherche de l’objet modifié?

http://www.ling.ohio-state.edu/~speer/ExptPrag_shorter.ppt

54

Procedure

• Sujets suivent des instructions audio pour décorer un arbre de Noël.

• Les ornements sont visualisés sur une grille de 11 cells (8 target + 3 filler)

• Mouvements oculaires enregistres avec un head-mounted eye-tracker (ASL e5000, magnetic head tracking) a 60Hz.

http://www.ling.ohio-state.edu/~speer/ExptPrag_shorter.ppt

55

http://www.ling.ohio-state.edu/~speer/ExptPrag_shorter.ppt

56

Experiment 1: Stimuli• Felicitous Patterns

green onion ORANGE onion L+H* no accent

brown ball brown ANGEL H* L+H*

• Infelicitous Patternsgray stocking brown STOCKING

H* L+H* orange candy ORANGE onion

L+H* no accent

57

THEME #4THEME #4

COMPARAISONINTER-LINGUISTIQUE

58

50

100

150

200

250

300

350

400

Phrasing

I met Mary and Elena’s mother at the mall yesterday

Mary & Elena’s mothermall

1 syntagme intonatif avec F0 assez constante.

59

50

100

150

200

250

300

350

400

I met Mary and Elena’s mother at the mall yesterday

Marymall

Elena’s mother

2 syntagmes séparés avec gamme tonale plus étendue

Phrasing

60

Comparaison inter- et intra-linguistique

Langues romanes : apport de facteurs syntaxiques et prosodiques au phrasing

Phrasing

61

Language-specific tendencies

• Déclaratives focalisation large:

anglais : (S)(VO) (Nibert 2000)

catalan : (S)(VO) & (SV)(O) (Prieto 1997)

português : (SVO) (Frota 2000)

italien : (SVO) (D’Imperio 2000)

62

Comparaison inter-langues

Catalan (SV)O

Italian (SVO)

RLD = Romance Languages Database, D’Imperio et. al. 2005

63

Finalités

• Etudier l’apport du branchement syntaxique et de la longueur des constituants (en s) sur le phrasing dans 4 langues romanes (catalan, italien, portugais européen du Nord et du Sud et espagnol).

64

METHODE

• Etudes systématiques des facteurs cruciaux au niveau intra- et inter-linguistiques.

• Séparer l’apport de la prosodie de celui de la syntaxe (e.g., # syllables, #prosodic words, # syntactic words, syntactic branching?).

65

Corrélats phonétiques en italien

• Dans la plupart des cas, la fin de la phrase était marquée par une montée de F0 (continuation rise or sustained pitch), un accent de niveau H* en fin de syntagme et une pause optionnelle.

66

La parole de laboratoire est-elle la vrai parole?

• When the object of the analysis is the phonetics/phonology interface, laboratory speech is an adequate source of data.

• Lickley, Shepman e Ladd (2005) : read speech is real speech (analysis on Dutch read speech and Map Task data).

• If the object of study is the pragmatic level, the distribution of a certain contour in a specific type of pragmatic interaction, then spontaneous or semi-spontaneous speech is needed.

• Different speech styles do not imply the existence of difference tonal grammars.

67

The case of short expressions : Italian and Swedish

Table 2 Most common tonal realizations per functional category in the Italian materials

Category Tonal realization

Percentage of occurrence

RN H+L* L-L% 90%

RP H+L* L-L% 81%

FA H+L* L-L% 73%

FCy L* L-H% 73%

FCI H+L* L-L% 71%

FR H+L* L-L% 67%

DHH* H-L% orL* L-L% 55%

FE L+H* L-L% 50%

Continuer (you go on)

68

Acoustic Similarities and Dissimilarities per function categories: F0 and duration for ja and sì

Label Swedish Italian

FCY (continuation you go on)

Rising F0, lengthening, BIG SPAN

Rising F0, lenghtening

FCI (continuation I go on)

Flat F0, SLIGHTLY RISING (small span, high range)

(lengthening for speak1)

Mainly Falling F0,short duration

FA (acceptance) (Mainly) Rising F0 (small span, low range)

Falling F0

RP (positive answer)

Rising and long (if in context)

Falling and short (if in isolation)

Falling F0

69

Conclusion

• Afin de modéliser et interpréter linguistiquement le contour de F0, il est nécessaire d’adopter des modèles de la cible tonale explicites, qui rendent compte et de la production et de la perception.

• Des modèles explicites sont aussi a la base de l’extraction automatique des cibles tonales.

• L’investigation de la parole spontanée doit être accompagnée par des données de parole de laboratoire, permettant de se concentrer sur une problématique spécifique a l’interface entre la phonétique et la phonologie, et de bénéficier de données qui pourraient être mal représentes dans la parole spontanée.