Effets discursifs et calculs lexicaux sur les indices mélodiques en lecture

Jean-Philippe MEIYE (CLIPS-IMAG)Geneviève CAELEN-HAUMONT (CLIPS-IMAG)Christine Joux (CLIPS-IMAG)Danièle DUBOIS (SILEX / ENS-PARIS)

AFPLA’98 Caen, 19-20/03/98

11BP 53 - 38041 Grenoble Cedex 9 - FranceCNRS - INPG - UJF

Communication Langagière etInteraction Personne-Système

22

Problématique Générale

But : nouvelle méthode de validation des processus cognitifs à partir de certains indices mélodiques (F0M et F0)

Métrique des processus cognitifs : Processus cognitifs pas directement observables

Construction d’indicateurs de paramètres Méthodes et indicateurs actuels non satisfaisants

Contexte général des recherches : Exemple : Effets de contexte linguistique

33

Problématique Générale

Caractéristiques de notre méthode Matériel - Texte vs. Mots Présentation «écologique» Paradigme - Acquisition du signal de parole Méthode d’analyse - Echelle Temporelle et Fréquentielle (F0M et F0) précises

Indices prosodiques (mélodiques) => indicateurs cognitifs

Prosodie = évolutions acoustiques de F0, durée et l’énergie Mélodie = étude des variations de F0 (indices : F0Max, F0moy et F0min) F0 = F0Max - F0min [Caelen-Haumont, 91]

44

Hypothèses

Indices fréquentiels (F0Max et F0) => effets de contexte Si structures contextuelles convergentes/divergentes, alors => niveau de difficulté / facilité des traitements cognitifs Présence d’un contexte congruent => chute des valeurs des indices temporels et mélodiques (F0Max et F0) et inversement Différence accrue entre CN vs. CNR ou CR et moindre entre CNR vs. CR

55

Expérimentation : Prosodie et compréhension

Méthode Sujets : 10 sujets (3 Filles et 2 Garçons) Matériel :

20 couples d’items amorce-cible issus de la norme associative [Meiye et Brulex, 96] 6 textes : 3 textes - CHF / 3 textes - CBF

Cible Haute FréquenceContexte Neutre (CN) Contexte Non Relié (CNR) Contexte Relié (CR)Le teclone doit L’affiche doit L’abeille doit produire du miel produire du miel produire du miel

Cible Basse FréquenceContexte Neutre (CN) Contexte Non Relié (CNR) Contexte Relié (CR)Le teclone doit L’affiche doit L’abeille doit produire l'usine produire l'usine produire l'usine

66

Expérimentation : Prosodie et compréhension

Méthode

Traitement des données Conventions sur le matériel textuel = Extraction des tronçons cibles

Traitement des données Convention sur le signal de parole = Etiquetage + items cibles en 1/8 tons

abeille doit produire du mielAmorce

ISI Linguistique

SOA Linguistique

Cible

DA FA FCDC

DSOA FSOA

77

Calcul de F0 et F0 dans le mot lexical

Représentation spectrale d’une phrase étiquetée

F0

TEMPS

F0M

Mot Lexical

F0

FIN de MotDébut de Mot

F0m

ContourMélodique

Syll FinMot

Déb Syll Fin

Début ContMélodique

Et iquettesSignal

Couche formantiqueCourbe de l’énergie

Barres de segmentation

88

Expérimentation : Prosodie et compréhension Cible Basse Fréquence

Résultats en fonction du paramètre durée (ms.)

Plan expérimental : S5 x <C3> Effets significatifs du facteur contexte - Cible Haute Fréquence / VD (ms.) Effets significatifs du facteur contexte - Cible Basse Fréquence / VD (ms.)CHF en fonction de la Durée (ms.)

430440450460470480490500

Contexte

Dur

ée d

e Pa

role

ms.

ms. 492,74 463,94 451,98

CN CNR CR

CBF en fonction de la Durée (ms.)

0

100

200

300

400

500

600

Contexte

Dur

ée d

e Pa

role

ms.

ms. 523,04 411,38 425,04

CN CNR CR

P=.05

99

P=.05

CBF en fonction de F0 (1/8ème T.)

01234567

Contexte

Paro

le e

n 1/

8èm

e de

Ton

1/8ème T.

1/8ème T. 6,0658 4,802 5,4118

CN CNR CR

CHF en fonction de F0 (1/8ème T.)

01234567

Contexte

Paro

le e

n 1/

8èm

e de

Ton

1/8ème T.

1/8ème T. 6,592 4,5152 4,94

CN CNR CR

Expérimentation : Prosodie et compréhension Cible Haute Fréquence

Résultats en fonction du paramètre F0 (1/8ème tons)

Plan expérimental : S5 x <C3> Effets significatifs du facteur contexte - Cible Haute Fréquence / VD (1/8) Effets significatifs du facteur contexte - Cible Basse Fréquence / VD (1/8)

1010

Expérimentation : Prosodie et multimodalité (indices de parole et oculaires)

Méthode Prosodie et Modularité

Validation des processus automatiques vs. attentionnels Reconceptualisation : ISI et SOA Linguistique [Dubois, 1994 ; Meiye, Caelen-Haumont et Dubois, 97]

Prosodie et Mouvements Oculaires Recherche d’invariants entre indices prosodiques et indices oculaires.

Matériel 6 versions textuelles déclinées en 3 modalités contextuelles

Relation Sémantique Contrôle (RS Contrôle) Relation Sémantique Faible (RS F-) Relation Sémantique Forte (RS F+)

1111

Expérimentation : Prosodie et multimodalité (indices de parole et oculaires)

Matériel Contexte Sémantique SOA CourtRS C RS F- RS F+

L'affiche doit L’usine doit L’abeille doit produire du miel produire du miel produire du miel

Contexte Sémantique SOA LongRS C l’affiche doit mettre en œuvre son industrie et mobiliser

son énergie pour produire une réserve de miel

RS F- l’usine doit mettre en œuvre son industrie et mobiliser son énergie pour produire une réserve de miel

RS F+ l’abeille doit mettre en œuvre son industrie et mobiliser son énergie pour produire une réserve de miel

1212

Expérimentation : Prosodie et multimodalité (indices de parole et oculaires)

abeille doit produire du

AmorceISI Linguistique

SOA Linguistique

Cible

DA FA FCDC

DSOA FSOA

usine doit produire du

Prédictions

SOA Court

affiche doit produire du

RS F+

RS F-

RS Contrôle

miel

miel

miel

1313

Conclusion et perspectives

Validation de la méthode d’approche Effet significatif des paramètres mélodiques manipulés / facteur contexte En production - résultats conforment à d’autres approches (TDL, etc.) Plus grand est F0 et plus le locuteur investit cognitivement la cible qu’il traite Augmentation de F0 => effet de surprise chez le locuteur D’autres résultats sont en cours de traitement :

Effet du SOA Linguistique (court vs. long) => modularité des processus

Comparaison des VD (F0Max vs. F0)

Prolongement de la validation Processus cognitifs et multimodalités (indices prosodiques x indices oculaires) [C. Joux - DEA 98]