Presentation emmanueldupoux

DifficultDifficultéés persistantes dans la s persistantes dans la perception des sons perception des sons éétrangerstrangers

Emmanuel DupouxEmmanuel Dupoux

LaboratoireLaboratoire de Sciences de Sciences CognitivesCognitives et et PsycholinguistiquePsycholinguistique, EHESS, EHESS--ENSENS--CNRS, ParisCNRS, ParisDepartementDepartement dd’’EtudesEtudes CognitivesCognitives, ENS, ENS

GroupeGroupe CompasCompas 20082008

Les bases biologiques du langageLes bases biologiques du langage (Lenneberg 1967)

langage parlé langage écrit• dans toutes les sociétés + -• éducation nécessaire - +• acquisition explosive + -• correlation avec QI - +

! période critique pour le langage parlé (puberté)

! latéralisation progressive dans l’hémisphère gauche

Les Les diffdifféérentsrents niveauxniveaux de de traitementtraitement

PhonologiePhonologie

LexiqueLexique

Mots de Mots de fonctionfonction

SyntaxeSyntaxe

SSéémantiquemantique

AcoustiqueAcoustique

Acquisition d’une 1ère langue

Acquisition d’une 1ère langue

ApprentissageApprentissage dd’’uneune premipremièère langue: re langue: LL’’HypothHypothèèsese BottomBottom--UpUp

PhonologiePhonologie

LexiqueLexique

Mots de Mots de fonctionfonction

SyntaxeSyntaxe

SSéémantiquemantique

AcoustiqueAcoustique

PhonologiePhonologie

LexiqueLexique

Mots de Mots de fonctionfonction

SyntaxeSyntaxe

SSéémantiquemantique

AcoustiqueAcoustique

ApprentissageApprentissage dd’’uneune premipremièère langue: re langue: LL’’HypothHypothèèsese BottomBottom--UpUp

PhonologiePhonologie

LexiqueLexique

Mots de Mots de fonctionfonction

SyntaxeSyntaxe

SemantiqueSemantique

AcoustiqueAcoustique

ApprentissageApprentissage dd’’uneune premipremièère langue: re langue: LL’’HypothHypothèèsese BottomBottom--UpUp

ApprentissageApprentissage dd’’uneune secondeseconde langue: langue: uneune stratstratéégiegie toptop--down?down?

PhonologiePhonologie

LexiqueLexique

Mots de Mots de fonctionfonction

SyntaxeSyntaxe

SemantiqueSemantique

AcoustiqueAcoustique

• Hypothèse: les niveaux de traitement acquis très tôt pendant l ’enfance sont difficile à changer dans l ’acquisition d ’une langue étrangère.

DDéécodage codage PhonPhonéétiquetique

Segmentation et identification

des mots

Code Code prpréélexicallexical

Code acoustique/phonCode acoustique/phonéétiquetique

Le traitement des sons linguistiquesLe traitement des sons linguistiques 1. les cat1. les catéégories segmentalesgories segmentales

Code lexical

Apprentissage par dApprentissage par déésapprentissage: les phonsapprentissage: les phonèèmesmes

00,10,20,30,40,50,60,70,80,9

1

0 0,2 0,4 0,6 0,8 1

catégorisationdiscrimination

Les bLes béébbéés pers perççoivent la parole oivent la parole de fade faççon caton catéégoriellegorielle

EimasEimas et al, 1971et al, 1971

Contrôle

/ba/ /da/

Intra Inter

ContrôleIntra Inter

test de t

test de t

test de t

Dehaene-Lambertz & Baillet, NeuroReport, 1998

Les catLes catéégories dgories déépendent des languespendent des langues

LL ’é’émergence des catmergence des catéégories gories phonphonéémiquesmiques

Les catLes catéégories phongories phonéémiques:miques:•• sont formsont forméées pendants la premies pendants la premièère annre annéée de viee de vie•• sur la base de lsur la base de l ’’input acoustique disponible input acoustique disponible •• elles delles dééterminent notre perception des terminent notre perception des

contrastes maternels et contrastes maternels et éétrangerstrangers

WerkerWerker & Tees (1984)& Tees (1984)

Maye and Maye and GerkenGerken (2002)(2002)

66--8mois 88mois 8--10mois 1010mois 10--12mois 1012mois 10--12mois12mois

Les voyellesLes voyelles3 vowels systems 20 vowels systems

i u a

i u i u I U I U e o o e õ õ æ a D ã ã D

(Aranda, Greenlandic) (Panjabi)

- ---

~~

~~~

~e

KuhlKuhl (1996): (1996): learninglearning atat 6 6 monthsmonths

La La misemise en route du en route du langagelangageNaissance

123456789101112

(mois)

discrimination de langues/rythme (Mehler et al. 1988)

segmentation en syntagmes intonationels (Hirsh-Pasek et al. 1987)

catégories de voyelles (Kuhl et al. 1992; Polka & Werker 1994)

segmentation statistique des mots (Jusczyk & Aslin 1995)

segmentation en syntagmes phonologiques (Gerken et al. 1994)

contraintes phonotactiques (Friederici & Wessels 1993; Jusczyk et al. 1993, 1994)

mots de function (Shady 1996)

répertoire de consonnes (Werker & Tees 1984)

début du lexique

DDéécodage codage PhonPhonéétiquetique

Segmentation et identification

des mots

Code Code prpréélexicallexical

Code acoustique/phonCode acoustique/phonéétiquetique

Le traitement des segmentsLe traitement des segments

Prototypes Prototypes consonnes et consonnes et

voyellesvoyelles

|la, ®a|

[‰a]

Japonais Espagnol

|e, "|

["]

AssimileAssimile au segment au segment phonphonéétiquementtiquement le plus le plus

procheproche

Catalan

|e, "|

[e,"]

Code lexical

Apprentissage dApprentissage d’’une L2une L2Spanish-Catalan bilinguals (L2 started at age 4) (Pallier et al, 1998)

[e] vs ["] classification Lexical decision: long term repetition priming

[pera] ... [pera]

[p"ra] ... [pera]

Spanish-Catalan bilinguals (L2 started at age 4) (Pallier et al, 1998)

[e] vs ["] classification Lexical decision: long term repetition priming

[pera] ... [pera][p"ra] ... [pera]

Apprentissage dApprentissage d’’une L2une L2

2. Les 2. Les suprasegmentssuprasegments

• l’accent tonique– espagnol: bébe vs bebé– italien: ‘ancora vs anc‘ora– anglais: record vs record

• la gémination– japonais: to vs too

kita vs kitta• les tons

– chinois, suédois

durée pitch qualité!

! !

! !

SpSpéécialisation de la perception des cialisation de la perception des suprasegmentssuprasegments

FrenchFrench SpanishSpanish

(Dupoux, Pallier, (Dupoux, Pallier, SebastianSebastian, , MehlerMehler, 1997), 1997)

–– Stress Stress ‘‘ deafnessdeafness ’’•• ABX discrimination ABX discrimination tasktask

– Difficulties for English hearers with Chinese tones (Wang et al. 2000)

– Tokyo dialect versus non-accented Mito & Kumamoto dialect (Otake & Cutler, 1999).

• significantly less sensitivity to pitch accent in making lexical judgments

• more reliance on guessing (based on vocabulary statistics)

– Duration ‘ deafness’: (Dupoux et al. 1997)• tookjoo ! tokjo• kjooto ! kjoto

“Surdité” à l’accent tonique

Peperkamp, Vendelin & Dupoux (sous presse)

0102030405060708090

100

French Finnish Hungarian Spanish

perc

ent e

rror

phonemestress

• Répétition de séquences– AABAB ! réponse 11212– conditions:

phoneme: [muku - munu]accent: [nu'mi - numi']

• Accent prédictif– French, Finnish, Hungarian

• Accent contrastif– Espagnol

Spécialisation suprasegmentale à 9 mois

0

2

4

6

8

10

12

14

16

18

20

Spanish (n=24) French (n=24) French (n=24)

Mea

n lo

okin

g tim

e (s

ec)

SwitchSame

Skoruppa, K., Pons, F. Christophe, A., Bosch, L. Dupoux, E., Sebastián-Gallés, N., Limissuri, R.A., Peperkamp, S. (submitted)

La La misemise en route du en route du langagelangageNaissance

123456789101112

(mois)

discrimination de langues/rythme (Mehler et al. 1988)

segmentation en syntagmes intonationels (Hirsh-Pasek et al. 1987)

catégories de voyelles (Kuhl et al. 1992; Polka & Werker 1994)

segmentation statistique des mots (Jusczyk & Aslin 1995)

spécialisation suprasegmentale (Jusczyk et al, Skoruppa et al)

segmentation en syntagmes phonologiques (Gerken et al. 1994)

contraintes phonotactiques (Friederici & Wessels 1993; Jusczyk et al. 1993, 1994)

mots de function (Shady 1996)

répertoire de consonnes (Werker & Tees 1984)

début du lexique

PhoneticPhonetic DecodingDecoding

PhonologicalPhonological CodeCode

AcousticAcoustic//PhoneticPhonetic CodeCode

Le traitement des Le traitement des suprasegmentssuprasegments

phoneticphonetic syllablessyllables

|bébe, bebé|

[bebe]

French

Assimilate to the closest Assimilate to the closest legal formlegal form

Spanish

[bébe, bebé]

|bébe, bebé|

Suprasegmental Suprasegmental PrototypesPrototypes

French (N=32) Late learners (N=51) Spanish (N=32)Total amount of exposure to Spanish

small (N=16) moderate (N=18) large (N=17) all late learners

Biographic dataMean age 25 26 27 30 28 22Country of testing

France N=32 (100%) N=4 (25%) N=6 (33%) N=8 (47%) N=18 (35%) 0%Spain N=0 (0%) N=12 (75%) N=12 (67%) N=9 (53%) N=33 (65%) 100%

Language backgroundMean age of acquisition n.a. 17 17.1 14.3 16.1 n.a.Mean number of years spent in a Hispanic country n.a. 0.6 1.8 3.4 2.0 n.a.Learned Spanish in school n.a. 80% 67% 88% 76% n.a.Learned Spanish at university n.a. 75% 56% 88% 73% n.a.Regularly visits Hispanic countries n.a. 9% 56% 94% 54% n.a.Regularly speaks Spanish in private life n.a. 13% 64% 74% 51% n.a.Regular speaks Spanish in professional/student life n.a. 94% 94% 100% 96% n.a.

Subjective assessmentImportance of Spanish (1: no importance - 10:extremely important )

Mean n.a. 8.94 8.94 9.35 9.08 n.a.SE n.a. 0.28 0.31 0.12 0.15 n.a.

Pronunciation (1: extremely poor - 10: perfect)Mean n.a. 6.25 6.61 7.88 6.92 n.a.SE n.a. 0.50 0.41 0.24 0.25 n.a.

Grammar (1: extremely poor - 10: perfect)Mean n.a. 6.75 7.00 7.94 7.24 n.a.SE n.a. 0.43 0.28 0.29 0.20 n.a.

Vocabulary (1: extremely poor - 10: perfect)Mean n.a. 6.94 7.22 7.94 7.37 n.a.SE n.a. 0.31 0.37 0.20 0.18 n.a.

ProductionNative-like accent (1: extremely poor - 6: perfect)

Mean n.a. 2.03 2.78 3.80 2.90 5.67SE n.a. 0.28 0.25 0.32 0.19 0.09

Stress errorsMean n.a. 16.4% 14.9% 4.5% 12.1% 0.0%SE n.a. 3.8 3.2 2.5 2.0 0.0

LexiconErrors in Lexical Decision

Mean na. 14.6% 10.5% 5.9% 10.7% 1.7%SE na. 2.6 2.0 1.5 1.3 0.5

French (N=32) Late learners (N=51) Spanish (N=32)Total amount of exposure to Spanish

small (N=16) moderate (N=18) large (N=17) all late learners

Biographic dataMean age 25 26 27 30 28 22Country of testing

France N=32 (100%) N=4 (25%) N=6 (33%) N=8 (47%) N=18 (35%) 0%Spain N=0 (0%) N=12 (75%) N=12 (67%) N=9 (53%) N=33 (65%) 100%

Language backgroundMean age of acquisition n.a. 17 17.1 14.3 16.1 n.a.Mean number of years spent in a Hispanic country n.a. 0.6 1.8 3.4 2.0 n.a.Learned Spanish in school n.a. 80% 67% 88% 76% n.a.Learned Spanish at university n.a. 75% 56% 88% 73% n.a.Regularly visits Hispanic countries n.a. 9% 56% 94% 54% n.a.Regularly speaks Spanish in private life n.a. 13% 64% 74% 51% n.a.Regular speaks Spanish in professional/student life n.a. 94% 94% 100% 96% n.a.

Subjective assessmentImportance of Spanish (1: no importance - 10:extremely important )

Mean n.a. 8.94 8.94 9.35 9.08 n.a.SE n.a. 0.28 0.31 0.12 0.15 n.a.

Pronunciation (1: extremely poor - 10: perfect)Mean n.a. 6.25 6.61 7.88 6.92 n.a.SE n.a. 0.50 0.41 0.24 0.25 n.a.

Grammar (1: extremely poor - 10: perfect)Mean n.a. 6.75 7.00 7.94 7.24 n.a.SE n.a. 0.43 0.28 0.29 0.20 n.a.

Vocabulary (1: extremely poor - 10: perfect)Mean n.a. 6.94 7.22 7.94 7.37 n.a.SE n.a. 0.31 0.37 0.20 0.18 n.a.

ProductionNative-like accent (1: extremely poor - 6: perfect)

Mean n.a. 2.03 2.78 3.80 2.90 5.67SE n.a. 0.28 0.25 0.32 0.19 0.09

Stress errorsMean n.a. 16.4% 14.9% 4.5% 12.1% 0.0%SE n.a. 3.8 3.2 2.5 2.0 0.0

LexiconErrors in Lexical Decision

Mean na. 14.6% 10.5% 5.9% 10.7% 1.7%SE na. 2.6 2.0 1.5 1.3 0.5

Tasks• Prelexical: sequence recall

– Conditions: phoneme: [fiku] - [fitu]stress: [númi] - [numí]

– Sequence length four only

• Lexical: auditory lexical decision– Spanish items– Conditions: phoneme: * [vulor] (< [valor] ‘value’)

stress: * [mesá] (< [mésa] ‘table’)

0

1020

3040

5060

7080

90

Training Test Training Test Training Test Training Test Training Test

French Beginners Intermediate Advanced SpanishBilinguals

Perc

ent E

rror

PhonemeStress

STM task: sequence recall

0

1020

3040

5060

7080

90

Training Test Training Test Training Test Training Test Training Test

French Beginners Intermediate Advanced SpanishBilinguals

Perc

ent E

rror

PhonemeStress

STM task: sequence recall

sequence repetition

-60-40-20

020406080

100

French 'bad' 'good' Spanishmonolinguals bilinguals bilinguals monlinguals

% e

rror

(stre

ss m

inus

ph

onem

e)

27%

Stress ‘deafness’ in good bilinguals 1

73%

recall

lexical decision

-40

-20

0

20

40

60

80

100

French 'bad' 'good' Spanishmonolinguals bilinguals bilinguals monlinguals

% e

rror

(stre

ss m

inus

ph

onem

e)Stress ‘deafness’ in good bilinguals 2

27%73%

3. la structure syllabique: 3. la structure syllabique: ((ou les illusions phonologiques)ou les illusions phonologiques)

•• JaponaisJaponaissyllabes légales: V, CV, VN, CVNsyllabes illégales: *CVC, *CCV, ...

emprunts:“Sphinx” ! [sufi k̃usu]“Christmas” ! [kurisutomasu]

!! insinséérerrer /u/ apr/u/ aprèès s uneune consonneconsonne de coda, de coda, ouou dansdans un cluster un cluster dd’’onsetonset ((insinséérerrer /o/ apr/o/ aprèès s uneune stop stop dentaledentale))•• FranFranççaisais

syllabes légales: CCV: dra, pnØsyllabes illégales: CCV: *dla, * npØ, ...

•• BerberBerber

Dupoux, Kakehi, Hirose, Pallier, & Mehler (1997)

Conditions:Conditions:clustercluster: : ebuzoebuzo--ebzoebzovowel lengthvowel length: : ebuzoebuzo--ebuebu…zozo

-50

0

50Cluster Cluster -- Vowel score (%)Vowel score (%)

French JapaneseFrench Japanese

A B BA B

time

AS1 S2 S3

ResponseResponse A or BA or B

female voicefemale voice male voicemale voice

% u detection% u detection

0

20

40

60

80

100

Other No 0ms 14ms 29ms 44ms 58ms Full

Japanese

French

DDéétectiontection de de voyellevoyelle

[[ebzoebzo]] [[ebuzoebuzo]][[ebazoebazo]]

TâcheTâche ABXABXLes voyelles fantômesLes voyelles fantômes

Dehaene-Lambertz, Dupoux & Gout (2000)

0 25 50 75 100Control

Deviant

Distr

Ebuzo …EbizoEbzo … Ebizo

Ebuzo … EbzoEbzo … Ebuzo

Ebuzo …EbuzoEbzo … Ebzo

Japanese French

[ebuzo] vs

[ebzo]_

++

p

.001 .01 .05 .001.01.05

Time600 ms

S1BA

S2BA

S3BA

S4BA

S5AA

Deviant

Control

6 female voices male voice

400

800

200

+#v

-400

MismatchMismatch NegativityNegativity

ERPsERPs de haute densitde haute densitéé

OOùù? ? IRMfIRMf

PhonologicalPhonological -- AcousticAcoustic

p<.005

p<.001

LSuperior Temporal Gyrus

Supramaginal Gyrus

Jacquemot, Pallier, Dehaene, Lebihan and Dupoux (submitted)

PhonologicalPhonological AcousticAcoustic

illusion phonologique illusion phonologique àà 14 mois14 mois

Average looking times during same and switch trials for French and Japanese 8 and 14 month-old infants

† p= .053

0

2

4

6

8

10

12

Look

ing

time

(sec

)

Same

Switch

French infants Japanese infants

8 month-olds

French infants Japanese infants

**†

14 month-olds

*

** p< .003* p< .03

La La misemise en route du en route du langagelangageNaissance

123456789101112

(mois)

discrimination de langues/rythme (Mehler et al. 1988)

segmentation en syntagmes intonationels (Hirsh-Pasek et al. 1987)

catégories de voyelles (Kuhl et al. 1992; Polka & Werker 1994)

segmentation statistique des mots (Jusczyk & Aslin 1995)

segmentation en syntagmes phonologiques (Gerken et al. 1994)

contraintes phonotactiques (Friederici & Wessels 1993; Jusczyk et al. 1993, 1994)

mots de function (Shady 1996)

répertoire de consonnes (Werker & Tees 1984)

début du lexique

DDéécodage codage PhonPhonéétiquetique

Segmentation et identification

des mots

Code Code prpréélexicallexical

Code acoustique/phonCode acoustique/phonéétiquetique

Le Le rolerole de la structure syllabiquede la structure syllabique

Prototypes Prototypes syllabiquessyllabiques

Code lexical

[e.bu.zo, en.zo]

|ebzo, enzo|

Japonais

AssimileAssimile àà la plus la plus procheproche syllabesyllabe

Portugais Brésilien

|ebzo|

[e.bi.zo]

Apprentissage dApprentissage d’’une L2: une L2: la la persistencepersistence des voyelles des voyelles fantomesfantomes

• Japanese Monolinguals (N=10)• French Monolinguals (N=12)• Japanese-French Late learners (N=20)

– French after 12– more than 1.5 year outside Japan

• Perception: /u/ detection on a ebzo-ebuzo continuum

• Production: imitation of tokens from continuum; scoring by two phoneticians

French

Late learners

Japanese

0%

20%

40%

60%

80%

100%

othe

r

none 0 1 2 3 4 full

duration of /u/%

u pr

oduc

ed

0%

20%

40%

60%

80%

100%

other

none 0 1 2 3 4 ful

l

duration of /u/

%u

perc

eive

d

• French-Japanese late learners (N=16)– native Japanese speakers– late learners of French– between 2 and 7 years in France

NakamuraNakamura & Dupoux (& Dupoux (workwork in in progressprogress) )

sequence repetition

0

20

40

60

80

100

ebiza vs eboza ebza vs ebuza

contrast

perc

ent e

rror

lexical decision (french stimuli)

0

10

20

30

40

50

60

policier plicier boulanger blanger

V insertion V deletion

erro

r rat

e

epenthese en decision lexicale versus en short term memory

-40

-20

0

20

40

60

80

100

-20 0 20 40 60

blanger/aluphabet - plicier/alaphabet (Errs)

shor

t ter

m ta

sk (s

eq=4

) (E

rrs)

FrançaisJaponais

DDéécodage codage PhonPhonéétiquetique

Segmentation et identification

des mots

Code Code prpréélexicallexical

Code acoustique/phonCode acoustique/phonéétiquetique

Le traitement des sons linguistiquesLe traitement des sons linguistiques le filtre phonologiquele filtre phonologique

Code lexical

Pas plastique! « Surdité » phonologique

ApprentissageApprentissage dd’’uneune secondeseconde langue: langue: uneune stratstratéégiegie toptop--down?down?

PhonologiePhonologie

LexiqueLexique

Mots de Mots de fonctionfonction

SyntaxeSyntaxe

SemantiqueSemantique

AcoustiqueAcoustique

Intervention?

ApprentissageApprentissage dd’’uneune secondeseconde langue: langue: uneune stratstratéégiegie toptop--down?down?

PhonologiePhonologie

LexiqueLexique

Mots de Mots de fonctionfonction

SyntaxeSyntaxe

SemantiqueSemantique

AcoustiqueAcoustique

Age d’acquisition et accent étranger

Flege, Yeni- Komshian, & Liu (1999).

!! pourquoipourquoi??

• Peu de plasticité pour une langue apprise ‘ tardivement ’: – Compétition entre le système phonologique maternel et

le système de la L2– Période critique

• Stratégies de compensation – relative plasticité de la phonétique en production, par

rapport à la perception– existence de modes de traitement alternatifs (l ’écriture)– compensation par le contexte

• Degrés de plasticité différents en fonction du niveau de traitement– grande plasticité lexicale– relative plasticité syntaxique (Neville et al 1994, Flege et al,

1999)

Conclusions• Certain tasks show plasticity, others not

– perception tasks:•• goodgood performances: performances:

–– /u/ /u/ detectiondetection, , –– /u/ classification, /u/ classification, –– standard lexical standard lexical decisiondecision

– production tasks•• goodgood performances: performances:

–– imitation, imitation, –– readingreading–– namingnaming

•• badbad performances: performances: –– STM STM encodingencoding /u/ vs 0/u/ vs 0–– lexical lexical decisiondecision catches /u/ vs 0catches /u/ vs 0

• Problems in perception and not in production ….ahaaha …… !!

Phonetic Encoding

Word Form Retrieval

Output Phonological Code

Articulatory/Phonetic Code

Lexical Code

Phonetic Decoding

Input Phonological Code

Acoustic/Phonetic Code

Short TermPhonological store

Non plasticNon plastic

Word Form Identification

QuiteQuite plasticplastic

Lexical Code

Phonetic Encoding

Word Form Retrieval

Output Phonological Code

Articulatory/Phonetic Code

Lexical Code

Phonetic Decoding

Input Phonological Code

Acoustic/Phonetic Code

Short TermPhonological store

Non plasticNon plastic

Word Form Identification

QuiteQuite plasticplastic

Lexical Code

Acoustic- Articulatory Conversion

Phonetic expertise

L2 specific

QuiteQuite plasticplastic

Why do late learners have a foreign accent?

Flege, Yeni- Komshian, & Liu (1999).