Mémoire Sémantiqueet

Sons de l’Environnement

Travail de thèse présenté parYannick Gérard

et réalisé sous la direction du Pr. Emmanuel Bigand

La Mémoire Sémantique

Comment une stimulation (mot, images, sons,…) prend du sens?

Tulving (1972, p.386) propose de la définir comme :

Système de mémoire unique

Système de mémoire multiple

Caramazza et al. (1990,1994) propose qu’il n’existe pas de différence au niveau du stockage quelle que soit la nature des stimulations.

Paivio (1971,1986) propose deux systèmes de stockage distincts selon la nature verbale ou non (images) des stimulations.

«La mémoire nécessaire pour l’utilisation du langage. C’est un thésaurus mental, le savoir organisé qu’un individu possède pour les mots, les autres symboles verbaux,

leurs significations et leurs référents, leurs relations et les règles, formules, algorithmes pour la manipulation de ces symboles, concepts et relations.

La mémoire sémantique n’enregistre pas les propriétés perceptives des stimuli mais plutôt les référents cognitifs des signaux d’entrée».

Les recherches effectuées en mémoire sémantique s’articulent sur une distinction verbale/non-verbale restreinte aux mots et aux images

qui reste insuffisante pour rendre compte de son organisation.

Aphasie Optique

Littérature plus importante dans le domaine des objets visuels

Complexité des sons de l’environnement comparée aux images (Fabiani et al., 1996)

correspond au manque du mot, la forme, la fonction et le sens sont reconnus

Images - Snodgrass & Vanderwart (1980)Sons de l’environnement - Fabiani et al. (1996)

Intérêt pour l’étude des sons de l’environnement

Vers le choix d’une méthodologie:Le paradigme d’amorçage

Pourquoi le paradigme d’amorçage?

Permet d’étudier la mémoire sémantique

Littérature abondante dans le domaine du langage et des objets visuels

Meyer & Schvaneveldt (1971)

Paires (Haut/bas) Exemples de stimuli Réponse attendue Temps de réaction (ms)1 * Mot/mot associés « Bread » « Butter » Oui 8552 * Mot/mot non associés « Bread » « Nurse » Oui 9403 * Mot/non-mot « Doctor » « Marb » Non 10874 * Non-mot/mot « Marb » « Butter» Non 9045 * Non-mot/non-mot « Herk » « Stur » Non 884

Théorie de la propagation de l’activation, Collins & Loftus (1975)

Théorie de l’indice composite, Ratcliff & McKoon (1988)

Expérience du groupe musique dans le domaine de l’amorçage

Modèle CSM (Conceptual Selection Model)Bloem, van den Boogaard, & La Heij (sous presse)

Interférence sémantique - compétition entre Lt et Lc

Facilitation sémantique - seuil (une image n’active pas automatiquement L)- un mot active d’autres mots sémantiquement reliés- l’activation de L décroît plus vite que celle de C

Lt

Ct Cc

LcEntrée «Mot»

Entrée «Image»

Entrée «Tâche»

Entrée «Cible»

Seuil

Hypothèses de départ

Activent des structures de connaissances abstraites

Cette activation se propage

Ballas (1993), Mot/Son (Confirmation de la source)Van Petten & Rheinfelder (1995), Son/Mot (Décision lexicale)

Les sons de l’environnement,

Au même titre que pour :

Les images (Palmer, 1975)

Le langage (Meyer et Schvaneveldt, 1971)

La musique (Bigand et al., 1999)

Plan expérimental

Etude 1 - Amorçage en court contexte

Expérience 1 - Amorçage répété avec des sons de l’environnementExpérience 2 - Amorçage sémantique avec des sons de l’environnementExpérience 3 - Amorçage répété inter-format entre des sons et leurs labels linguistiquesExpérience 4 - Amorçage sémantique inter-format entre des sons et leurs labels linguistiques

Conclusion générale

Etude 2 - Organisation des sons de l’environnement en mémoire

Expérience 1 - Association libreExpérience 2 - Catégorisation libre de sons de l’environnementExpérience 3 - Amorçage associatif avec des sons de l’environnement

Etude 3 - Amorçage en long contexte

Expérience 1 - Amorçage en long contexte linguistique avec des sons de l’environnementExpérience 2 - Amorçage en long contexte sonore avec des sons de l’environnement

Étude 1Amorçage en court contexte

Principe général

Amorce

400ou

1000 ms

Mesure du TR

Tâche decatégorisationsémantique

Animéou

Inanimé

200ou

400 ms

ISI

1000 ms

Cible

Expériences de l’Etude 1

40 paires de stimuli présentées aléatoirement au sein d’un bloc

Présentation de 4 blocs par participant, soit 160 essais

400 ms

200ou

400 ms

Mesure du TR

1000 ms

ISI

Expérience 1Amorçage répété avec des sons de l’environnement

Tâche decatégorisationsémantique

Animéou

Inanimé

AmorceCible

répétée

Ciblenon répétée

400 ms

200ou

400 ms

Mesure du TR

1000 ms

ISI

Expérience 1Amorçage répété avec des sons de l’environnement

Tâche decatégorisationsémantique

Animéou

Inanimé

Ciblerépétée

AmorceCible

non répétée

400 ms

200ou

400 ms

Mesure du TR

1000 ms

ISI

Expérience 2Amorçage sémantique avec des sons de l’environnement

Tâche decatégorisationsémantique

Animéou

Inanimé

AmorceCiblereliée

Ciblenon reliée

400 ms

200ou

400 ms

Mesure du TR

1000 ms

ISI

Expérience 2Amorçage sémantique avec des sons de l’environnement

Tâche decatégorisationsémantique

Animéou

Inanimé

Ciblereliée

AmorceCible

non reliée

Expériences 1 & 2

Effet principal de la Catégorie («animé» vs. «inanimé»), p < .001

Pas d’effet de la Relation sémantique, n.s.

Effet principal de l’ISI (200 vs. 400), p < . 01

650

700

750

800

850

900

950

ISI 200 ms ISI 400 ms

Temps de réponses en millisecondes

Répétée

Non reliée

Expérience 1 - Amorçage répété

600

650

700

750

800

850

900

950

1000

1050

1100

Animée Inanimée Animée Inanimée

ISI 200 ISI 400

Temps de réponse en millisecondes

Sémantique

Non reliée

Expérience 2 - amorçage sémantique

Effet principal de la Relation de répétition, p <. 01

Nous n’observons pas d’effet de la relation sémantique :

Le bruit d’un trousseau de clés n’amorce pas le traitement du bruit de

l’ouverture d’une porte

Différences de traitement entre les items «animé» et «inanimé»

French & Mareschal (1998)

Effet de l’ISI

Dans une expérience contrôle, un effet significatif de la relation est observé lors de l’utilisation de labels linguistiques correspondant aux sources des sons de l’environnement

Brièveté de l’ISI de 200 ms

La présentation d’une amorce identique à la cible facilite le traitement de cette dernière en comparaison à une amorce non répétée

Expérience 1

Expérience 2

1 - Les sons de l’environnement n’activent pas de structures de connaissances abstraites

2 - Les sons de l’environnement activent des connaissances conceptuelles mais ne s’organisent pas comme le suggèrent les modèles d’activation ou épisodique

Suggère que les résultats de l’Expérience 1 sont uniquement dus la répétition des caractéristiques acoustiques des sons.

Les données de la littérature ne sont pas en accord avec cette hypothèse (Ballas, 1993; Van Petten & Rheinfelder, 1995)

1000 ms 400 ms

Mesure du TR

1000 ms

ISI

Expérience 3Amorçage répété inter-format avec des sons de l’environnement

et des labels linguistiques

Tâche decatégorisationsémantique

Animéou

Inanimé

Ciblerépétée

Ciblenon répétée

Amorce

«Coq»

1000 ms 400 ms

Mesure du TR

1000 ms

ISI

Expérience 3Amorçage répété inter-format avec des sons de l’environnement

et des labels linguistiques

Tâche decatégorisationsémantique

Animéou

Inanimé

Ciblerépétée

Ciblenon répétéeAmorce

«Train»

1000 ms 400 ms

Mesure du TR

1000 ms

ISI

Expérience 4Amorçage sémantique inter-format avec des sons de l’environnement

et des labels linguistiques

Tâche decatégorisationsémantique

Animéou

Inanimé

Ciblereliée

Ciblenon reliée

Amorce

«Poule»

1000 ms 400 ms

Mesure du TR

1000 ms

ISI

Expérience 4Amorçage sémantique inter-format avec des sons de l’environnement

et des labels linguistiques

Tâche decatégorisationsémantique

Animéou

Inanimé

Ciblereliée

Ciblenon reliéeAmorce

«Vapeur»

Expériences 3 & 4

Pas d’effet de la Relation sémantique (sémantique vs. non reliée), n.s.

Effet de la Catégorie («animé» vs. «inanimé»), p < .001

Pas d’effet du format de présentation (M/S vs. S/M), n.s.

Interaction croisée Catégorie X Relation, p < .001

550

600

650

700

750

800

Mot/Son Son/Mot

Format de présentation

Temps de réponse en millisecondes

Répétée

Non reliée

Effet principal de la Répétition (répétée vs. non répétée), p < .01

Effet principal du Format de présentation (M/S vs. S/M), p < .01

Pas d’effet simple de la Catégorie («animé» vs. «inanimé»), n.s.

Expérience 3 - Amorçage répété

560

580

600

620

640

660

680

700

720

Mot-Son Son-Mot Mot-Son Son-Mot

"Animé" "Inanimé"

Temps de réponse en millisecondes

Sémantique

Non reliée

Expérience 4 - Amorçage sémantique

L’amorçage sémantique pour les sons de l’environnement dépend de leur appartenance catégorielle («animé» vs. «inanimé»)

Caramazza et al. (1990,1994)

French & Mareschal (1998)

Ballas (1993)

Nous observons un effet facilitateur d’amorçage répété inter-format avec des sons de l’environnement et leurs labels linguistiques en accord avec les études précédentes (Ballas, 1993; Van Petten & Rheinfelder, 1995)

Un son de l’environnement active une structure de connaissance abstraite

Expérience 4

Expérience 3

Étude 1 - Discussion

1 - Un son de l’environnement active des connaissances conceptuelles

2 - Propagation de l’activation conceptuelle

de manière similaire aux mots, à la musique et aux images (Expériences 1 & 3)

Nos résultats sont beaucoup moins clairs. La seule influence de la relation sémantique s’observe avec les items de la catégorie «animé» et uniquement dans l’Expérience 4

L’organisation des sons de l’environnement semble se faire selon des liens qui ne sont pas de nature sémantique

Comment les sons de l’environnement s’organisent en mémoire?

Étude 2Organisation des sons de l’environnement

enmémoire

Expérience 1Association libre

Inducteur

Mot

Son

ou

«donnez le premier mot associé qui vous vient à l’esprit»

Tâche d’association libre

2 listes, 27 sons et leurs 27 labelslinguistiques correspondant1000 ms 2000 ms

Fenêtrede

réponse

1000 ms

Présentation bloquée par liste tous les mots puis tous les sons ou inversement

Expérience 1

0

10

20

30

40

50

60

70

Répétition Associative Sémantique Acoustique NSP

Nature de la réponse

Réponses (en pourcentages)

MS -> Mot

MS -> Son

SM -> Son

SM -> Mot

Bus Voyage Camion Foreuse DélaiExemple

Mot/S

on

Son

/mot

Mo

t Mo

tSo

n So

n

Différences entre les mots et les sons en association libre

Entendre un son active son label linguistique

Lire un mot en évoque un autre associativement relié

Limite temporel ?

Médiation linguistique ?

Les sons s’organisent peut-être selon d’autres liens que ceux entretenus par les mots, de nature acoustique par exemple

Expérience 2Catégorisation libre de sons de l’environnement

Expérience 2A : Classement associatif

Expérience 2B : Classement acoustique

Exemple de présentation sous PowerPoint

2 groupes de sujets indépendants

20 min pour réaliser la tâche

27 sons de l’environnement

Former des catégories en fonction de liens associatif (2A) ou acoustique (2B) à l’issue le sujet donne les critères qui ont conduit à la formation des groupements

Désignation des sons

Galop

CoqChat

ChienPoule

Hennissement

Chèvre AgneauGoélandMouette

Cigale

Grenouille

CiseauxCaisse

0

PiècesPorte

Agrafeuse

1

0,9

0,8

0,5

0,4

0,3

Similarité

0,1

0,6

0,7

0,2

0,6

0,5

0,4

Vapeur

Train

Crissement

Klaxon

Bouchon

SodaClés

1

0,9

0,8

0,7

0,3

0,2

0,1

0

Expérience 2ADendogramme «associatif»

Objets Animaux

«Moyensde

transport»

«Bruitsd’intérieur»

«Animauxde la

ferme»

«Animauxdes

vacances»

Expérience 2BDendogramme acoustique

0,3

0,2

0,1

0

1

0,9

0,8

0,7

0,6

0,5

0,4

Vapeur

Train

Crissement

Klaxon

Bouchon

Soda

Similarité

Désignation des sons

0,1

0,6

0,7

0,8

0,5

0,4

0,3

0,2

ClésPorte

Agrafeuse

1

0,9

CiseauxCaisse

0

PiècesGoélandMouette

Cigale

Grenouille

Poule

Hennissement

Chèvre Agneau

Galop

CoqChat

Chien

«Sons longset continus»

«Sons aigus,saccadés,rythmés»

«Sons graves,saccadés,agréables»

«Sons dontl’amplitudecomplexes»

Classer un même ensemble de sons en fonction de critères associatif ou acoustique conduit à observer deux représentations arborées différentes

Les sons s’organisent en fonction du lieu (mer, rue, ferme, …) où nous pouvons les entendre ensemble

Associatif

Acoustique

Les regroupements sont moins homogènes mais permettent tout de même de dégager une organisation

Une organisation en mémoire pour les sons selon des caractéristiques associative et acoustique?

Expérience 3Amorçage associatif avec des sons de l’environnement

CIBLE Amorce As AcTRAIN Klaxon 13 13

KLAXON Train 13 13PORTE Agraf 14 10

CISEAUX Agraf 23 12MOUETTE Cigale 17 13CRISSER Vapeur 12 12POULE Chat 13 10GALOP Chien 11 17CHAT Hennissement 15 12

CHEVRE Chien 15 11

Moyenne 14,6 12,3E-T 3,405877 2,002776

Associatif et AcoustiqueAmorce As AcCrisser 11 5Clés 6 3Ciseaux 12 3Porte 12 3Grenouille 9 3Train 11 5Grenouille 11 4Coq 13 1Galop 10 1Galop 15 6

11 3,42,403701 1,646545

AssociatifAmorce As AcChien 1 14Hennissement 0 12Galop 0 14Poule 0 12Vapeur 1 12Hennissement 0 11Ciseaux 0 12Agraf 0 18Goeland 3 15Pieces 0 9

0,5 12,90,971825 2,469818

AcoustiqueAmorce As AcCigale 0 1Agneau 0 3Goeland 0 1Crisser 0 3Porte 0 2Grenouille 0 2Bouchon 0 1Soda 0 3Agraf 1 2Caisse 0 4

0,1 2,20,316228 1,032796

Non Relié

Expérience 3

600

650

700

750

800

850

900

950

"Animé" "Inanimé"

Catégorie

Temps de réponse en millisecondes

Associative & Acoustique

Associative

Acoustique

Non reliée

Pas d’effet de la Relation (AA vs. As vs. Ac vs. NR), n.s.

Effet de la Catégorie («animé» vs. «inanimé»), p < .001

Interaction Catégorie X Relation, p < .001

Impact des caractéristiques acoustiques sur le traitement des sons émis par des objets

Impact des caractéristiques associative et acoustique sur le traitement des sons émis par des animaux

Étude 2 - Discussion

Médiation langagière : entendre un son active son label linguistique

Homogénéité des populations de sons

Un son unique n’est peut-être pas un prédicteur efficace pour un autre son un contexte plus écologique pourrait être plus adéquat

Des effets d’amorçage en long contexte sont rapportés avec: Des images - Biederman, Mezzanote, & Rabinowitz (1982) Des mots - Bassili & Smith (1989) De la musique - Bigand et al. (2003)

Nos sons d’animaux sont beaucoup plus homogènes que nos sons d’objets

Les sons de l’environnement semble s’organiser en mémoire en fonction

- du lieu où nous sommes amenés à les entendre ensemble

- de leurs caractéristiques acoustiques

Étude 3Amorçage en long contexte

Expériences 1 & 2Principe générale

Cibleincongrue

E1: 2,2 à 4,1 sE2: 10 s

400 ms Mesure du TR

ISI

Ciblecongrue

1000 ms

Ambiancesonore

E2

Phraseprononcée

E1

Tâche de catégorisation

Grand-petit

60 paires de stimuli présentées aléatoirement au sein d’un bloc

Présentation de 2 blocs par participant, soit 120 essais

Expérience 1Amorçage en long contexte linguistique avec des sons de l’environnement

ISIPhrase

prononcée

Ciblecongrue

Cibleincongrue

2175 à 4130 ms 400 ms

Mesure du TR

1000 ms

Tâche de catégorisation

Grand-petit

Expérience 1

600

620

640

660

680

700

720

"petite" "grande"

Taille

Temps de réponse en millisecondes

Congruente

Incongruente

Effet principal de la Relation (congrue vs. Incongrue), p < . 01

Pas d’effet simple de la Taille (petite vs. grande), n.s.

Nos résultats en long contexte avec des sons de l’environnement sont en accord avec ceux rapportés lors de l’utilisation d’autres stimuli

- avec des mots (Bassili & Smith, 1989)- avec des images (Federmeier & Kutas, 2001)- avec de la musiquemusique (Poulin-Charronat, sous presse)

6

Changement de tâche associé à une activation plus importante (long contexte) permet d’observer un effet facilitateur d’amorçage non observé en court contexte

Reste le problème de la médiation langagière

Utilisation d’ambiance sonore dans l’Expérience 2

Biederman (1981) et Bigand et al. (2003)

Expérience 2Amorçage en long contexte sonore avec des sons de l’environnement

ISIAmbiance

sonore

Ciblecongrue

Cibleincongrue

10000 ms 400 ms

Mesure du TR

1000 ms

Tâche de catégorisation

Grand-petit

Expérience 2

660

680

700

720

740

760

780

800

820

840

860

"petite" "grande"

Taille

Temps de réponse en millisecondes

Congruente

Incongruente

Effet de la Relation (congrue vs. incongrue), p < .04

Il est plus rapide de juger de la taille de la source du son s’il n’est pas en rapport avec le contexte

Hollingworth & Henderson (1998)

Schémas mémoriels

Hypothèse attentionnelle

Phénomène de «pop-out» (Loftus & Mackworth, 1978; Treisman & Gelade, 1980)

Étude 3 - Discussion

Effet d’amorçage inverse en fonction de la nature du contexte, linguistique ou scène auditive

Linguistique - Collins & Loftus (1975)

Scène auditive

Objets reliés a priori

Schéma dépendant du lieu qui ne crée pas d’attentes sur les objets «probables»

Le contexte linguistique contraint plus les attentes sur la cible, mais ne permet pas d’expliquer l’inversion des effets

Conclusions

“Clef” “Porte”

Vous lisez :

Propagation de l’activation

Vous entendez :

?Un son de l’environnement active des connaissances conceptuelles mais cette activation ne se propage pas comme pour le langage, la musique ou encore les images

Conclusions

L’organisation des connaissances relative aux sons de l’environnement se structure en fonction :

- du lieu où nous sommes amenés à entendre ces sons ensemble

- des caractéristiques acoustiques des sons

Nous posséderions en mémoire des schémas basés sur des liens associatif et acoustique dépendant du lieu où nous évoluons

Merci de votre attention