Jury :Ludovic FerrandRapporteur Hervé GlotinExaminateur Jonathan Grainger Co-directeur Bernard LétéRapporteur

Jury : Ludovic Ferrand RapporteurHervé Glotin ExaminateurJonathan Grainger Co-directeurBernard Lété Rapporteur Claude Touzet Co-directeurJohannes Ziegler Président

Auto-organisation des représentations lexicales au cours de l’apprentissage de la lecture

approches comportementale, électrophysiologique et neuro-computationnelle

Soutenance de thèse de Stéphane DufauDoctorat Neurosciences - Université de Provence

Propriétés des mots

sens

lettres

sons

mot écrit

lettresmot parlé

sons

sens

Introduction

Propriétés des mots

sens

lettres

sons

mot écrit

lettresmot parlé

sons

sens

Le modèle triangulaire, Seidenberg et McClelland (1989)

mot écrit mot parlé

Introduction

O P

Les deux voies d’accès au sens

unitésorthographiques

unitésphonologiques

mot écrit mot parlé

motsorthographiques

motsphonologiques

unitéssémantiques

Le modèle bimodal d’activation interactive (Grainger et Ferrand, 1994)

Introduction

Objectifs de la thèse

Partie 1 : expérience en EEG

Objectifcomprendre les mécanismes de traitement de l’information impliqués dans la reconnaissance de mots écrits

Questionsquelle est la nature des représentations orthographiques (lettres, groupes de lettres, mot entier)?à quel moment ces représentations sont-elles utilisées?

Partie 2 : modélisation

Introduction

La voie orthographique

• Processus commun aux tâches de dénomination, de décision lexicale et d’identification perceptive, de catégorisation sémantique, … effectuées en laboratoire

• Exemple :

la catégorisation sémantique

Partie 1 - EEG

Catégorisation sémantique en EEG (1)

• L’EEG nous informe sur le décours temporel du traitement du mot• Complexe N1/P2 (précoce) et composante N400 (plus tardive) • N400 est modulée par des facteurs lexicaux (densité de voisinage,

fréquence des mots)

Van Petten et Kutas (1991) ; Holcomb, Grainger et O’Rourke (2002)

Haut voisinage Bas voisinage

temps (ms)100

-2

amplitude (µV)

200

N400

P2

N1

Partie 1 - EEG

Amorçage masqué

Série de stimuli visuels

Procedure EEG

• Manipulation des relations orthographiques entre l’amorce et la cible

• Effet de répétition de l’amorce (traitement cognitif plus rapide et plus précis de la cible)

Partie 1 - EEG

Amorçage masqué en EEG

• Complexe N1/P2, N400 + composante N250

• A quels traitements correspondent ces composantes?

Grainger et Holcomb (2006)

Répété Non répété

temps (ms)100

-2

amplitude (µV)

200

N400

P2

N1 N250

Partie 1 - EEG

Expérience de Chauncey et al. (2008)

La répétition de l’amorce recouvre beaucoup de conditions

Expérience avec manipulation du facteur Police

• Amorce toujours en ARIAL– Cible en ARIAL– Cible en GIGI

AMORCE CIBLE

table table

table TABLE

table table

table tabletable table

Chauncey, Holcomb et Grainger (2008)

Partie 1 - EEG

Résultats de Chauncey et al. (2008)

• RésultatsN/P150 est sensible à l’interaction Répétition x PoliceN250 et N400 sensibles à la Répétition quelque soit la Police

Chauncey, Holcomb et Grainger (2008)

N/P150 N250 N400

arial - arial

répéténon répété

arial - gigirépéténon répété

***

***

***

***

ns ns*Répétition x police

Répétition ***

ns

Partie 1 - EEG

Critique de Chauncey et al. (2008)

• Différents processus orthographiques élémentaires selon les conditions :

ARIAL – GIGI suppose une projection des lettres (dépendants de la police) sur une forme canonique de lettre

ARIAL – ARIAL ne met pas en jeu ce processus

• Cela fragilise les résultats et leur interprétation

• Nécessite un facteur plus robuste que le changement de Police

le changement de position horizontale

Partie 1 - EEG

Expérience en EEG (1)

Conditions

Répétition x Position horizontale

Avantage du facteur position

les mêmes processus orthographiques élémentaires

Positions

CIBLE - toujours présentée au centreAMORCE - décalée d’une lettre à gauche

- décalée d’une lettre à droite- présentée au centre

AMORCE CIBLE

--table table

-tabletable

table-- table

Dufau, Grainger & Holcomb (2008)

Partie 1 - EEG

Expérience en EEG (2)

Méthode

– Catégorisation sémantique avec amorçage masqué– 25 participants adultes– 450 mots (4 à 6 lettres, moyenne fréquence)– 50 essais x 2 (Répétition) x 3 (Position)– Analyse des potentiels évoqués

Partie 1 - EEG

Résultats N/P150

Partie 1 - EEG

Sensibilité au recouvrement

des lettres

Pas d’effet Pas d’effet

-tabletable

tabletable

tabletable

Résultats N250 et N400

Partie 1 - EEG

Sensibilité àla répétition



-tabletable

tabletable

tabletable

Résultats

Partie 1 - EEG

Répété - Non RépétéGauche Milieu Droit

N/P150 - + -N250 + + +N400 + + +

- A 150 ms, le lecteur est sensible à la position horizontale du stimulus (ainsi qu’à la police)

- A 250 ms, le lecteur n’est plus sensible à la position horizontale du stimulus

- La nature de la représentation orthographique entre 150 et 250 ms a donc changé

Mot entier

T-A T-B T-L T-E A-BA-L A-E B-L B-E L-E TABLE

0 – 200 msDe la rétine aux lettres

200 – 400 msDes lettres au mot

Grainger et van Heuven (2003); Grainger, Rey, Dufau (2008); Rey, Dufau, Massol, Grainger (sous presse)

Interprétation

Combinaisons ordonnéesde lettres

Position dépendant Position indépendant

Partie 1 - EEG

A B LT ELettres indépendantes entre

elles

Discussion

• N250 est une composante décrite en 2006 qui reflète un traitement intermédiaire (position indépendant) entre les lettres isolées (position dépendantes) et le mot entier (position indépendant)

• A quelle manipulation la N250 est-elle sensible?

– Expériences avec Stéphanie Massol manipulant le recouvrement orthographique entre l’amorce et la cible

– Facteurs : lexicalité (mot ou nonmot) x voisinage x répétition– Effet d’amorçage N250 identique sur les cibles ‘mots’ quand l’amorce est un

voisin orthographique (mot ou nonmot) – Effet d’amorçage N400 différent suivant la lexicalité de l’amorce

N250 est sensible au recouvrement orthographique (nb de lettres communes)

• La N250 reflète un processus sous-lexical et la N400 le processus lexical

Massol, Grainger, Dufau & Holcomb (2008)

Partie 1 - EEG

Conclusion EEG

Ces résultats sont d’un intérêt particulier pour notre modélisation : la représentation orthographique sous-lexicale directement reliée au processus lexical est indépendante de la position absolue des lettres

N/P150

T-A T-B T-L T-E A-BA-L A-E B-L B-E L-E

TABLE

# T A B L E #Détecteurs de lettres dépendants de la

position

Combinaisons ordonnées de lettres

indépendantes de la position

Mot orthographique

N400

N250

Traits visuels

Partie 1 - EEG

Objectifs de la thèse

Partie 1 : expérience en EEG

Objectifcomprendre les mécanismes de traitement de l’information impliqués dans la reconnaissance de mots écrits

Questionsquelle est la nature des représentations orthographiques?à quel moment ces représentations sont-elles utilisées?

Partie 2 : modélisation

Objectifévaluer la capacité d’un modèle à apprentissage non supervisé de représenter les mots au cours de l’apprentissage de la lecture

Questions- les combinaisons ordonnées de lettres sont-elles des unités orthographiques plausibles?- l’apprentissage implicite des formes orthographiques du modèle peut-il rendre compte des performances mesurées chez des enfants?

Modèle du lecteur expert

Activation interactive

utilisé dans l’établissement d’une représentation lexicale chez le lecteur expert : - les entrées sont des traits visuels qui activent des lettres- compétition lexicale (l’entrée TABLE active le mot TABLE et les mots voisins orthographiquement comme SABLE et CABLE)- niveau d’activation au repos des mots (les mots fréquents ont un niveau de repos plus élevé que ceux de plus basse fréquence)

TABLE

LettresPosition absolue

Mot

T A B L E

Traits visuels McClelland & Rumelhart (1981)

Partie 2 - Modélisation


Activation interactive – Exemple du mot BLUR



mécanisme de lecture du produit de l’activation par seuil

harp

a…h…z a…z a…r…z a…p…z

hard harm harp have


Modèle actuel du lecteur expert

Activation interactive

- propose une explication aux phénomènes lexicaux de fréquence et de voisinage orthographique

- modèle sans apprentissage - les poids de connexions entre lettres et mots sont fixes- implémentation ad-hoc de la fréquence

- les entrées du modèle sont des lettres (position absolue)


Modifications proposées

• Les entrées du modèle sont des combinaisons ordonnées de lettres indépendantes de la position

• Utilisation d’un apprentissage modifiant les poids de connexions entre les lettres et les mots

– Apprentissage d’un corpus réaliste– Apprentissage implicite (vs. explicite; pas de connaissance a priori des

mots)

modèle du lecteur expert (une évaluation à la fin de l’apprentissage sur des données comportementales adultes)

modèle de l’apprenti-lecteur (multiples évaluations au cours de l’apprentissage sur des données enfants du CP au CM2)


Entrées du modèle

Les entrées du modèle sont des combinaisons ordonnées de lettres: bigrammes ouverts

Par exemple, le mot CHUT = (CH, CU, CT, HU, HT, UT) Attribution d’une valeur numérique en fonction de la position des

lettres

C H U T

.7 .5 .5 .6

CH CU CT HU HT UT

.6 .6 .65 .5 .55 .55

C H U T

Grainger & van Heuven (2003)


Base d’apprentissage

MANULEX

- 54 manuels scolaires (2 millions de mots) du CP au CM2 - la fréquence des mots par niveau scolaire- l’ordre d’apparition des mots du CP au CM2- permet de réaliser des expérimentations sur un matériel linguistique contrôlé

Construction de corpus réaliste

- une liste de mots pour chaque niveau d’études (CP au CM2) respectant la variation des fréquences d’occurrence entre les niveaux

Lété et al. (2004)


Apprentissage implicite : carte auto-organisatrice

Bigrammes des motsprésentés un à un

Processus d’apprentissage

Organisation des mots en fonction de leurs propriétés (fréquence, voisinage, âge d’acquisition)

-a g i r --c h u t-

-c h a i r- -n y l o n-

chairchut

agirnylon

Espace des entrées

Espace des sorties


Représentation du lexique orthographique

La carte auto-organisatrice- respecte la topologie de l’espace d’entrée (voisinage)- respecte la fréquence d’apparition des mots (fréquence lexicale)- respecte l’ordre d’apparition des mots (âge d’acquisition)


Architecture et algorithme

AA AB AC AD

… ZZ

Conditions initialesLes unités sont interconnectées.Les poids de connexions sont randomisés.

Présentation d’un motUn mot codé par un vecteur de 1681 valeurs (bigrammes) se projette sur un espace de 200 x 200 unités.

Une unité de la carte est déclarée gagnante (meilleure représentante du mot).

Ses poids associés sont mis à jour en fonction de la valeur des bigrammes en entrée.Les poids des unités voisines sont également mises à jour.

Kohonen (1982)


Simulation

• 120 cartes auto-organisatrices (24 par niveau d’études)

• Les poids de connexion de chaque carte sont utilisés dans un réseau d’activation interactive

• Une mesure de performance (temps de réaction et pourcentage d’erreur) est réalisée sur 56 mots – 14 HF & HV– 14 HF & BV– 14 BF & HV– 14 BF & BV

• Ces résultats sont comparés à ceux mesurés dans une tâche de décision lexicale chez l’enfant (Bernard Lété)


Dufau et al. (soumis); Lété et al. (en préparation)

Résultats sur les temps de réaction

Effet des facteurs - Niveau d’études- Fréquence

Interaction - Niveau d’études x Fréquence


Pas d’effet ni interaction

Résultats sur les erreurs


Effet des facteurs - Niveau d’études- Fréquence

Interaction - Niveau d’études x Fréquence

Pas d’effet ni interaction

Contribution de la carte auto-organisatrice

Comparaison de modèles

modèle d’activation interactive avec lettremodèle d’activation interactive avec bigramme modèle d’activation interactive avec bigramme + poids de connexions

Mesure de corrélation ( 56 items x 5 niveaux = 280 points de mesure vs. TR enfants)

AI lettres AI bigrammes CA+AI FREQ

TR TR TR Erreur TR

0.13 (0.02)

0.23 (<0.001)

0.40 (<0.001)

0.47 (<0.001)

0.40 (<0.001)


Conclusion

Les performances du modèle CA+AI sont dues à une certaine plausibilité

• Choix des bigrammes ouverts comme entrées du modèle.

• La carte auto-organisatrice est un modèle d’apprentissage implicite uniquement guidé par les entrées.

• Choix d’une base d’apprentissage réaliste.

Ce modèle nous renseigne sur l’émergence chez le lecteur des effets de fréquence et de voisinage orthographique qui peuvent découler d’un apprentissage implicite


Mise en perspective

• Le modèle CA+AI n’est représentatif que d’une partie des processus de la reconnaissance des mots écrits

• Il existe d’autres modèles implémentés, incluant la voie phonologique– PDP: modèle à apprentissage par retro-propagation d’erreur (peu à

même de représenter un apprentissage implicite) – CDP+: modèle le plus abouti, sans apprentissage, utilise AI classique

comme module orthographique

• Intégration de CDP+ et CA+AI – à différentes étapes d’apprentissage : modèle développemental– à la fin de l’apprentissage : meilleure performance que AI classique?


Résumé

Nous avons vu que

- la technique d’amorçage masqué en EEG permet de mettre en lumière les différentes représentations des mots au cours du temps

- un modèle implémentant un apprentissage implicite des formes orthographiques est à même de simuler les performances mesurées chez les enfants

- l’effet de fréquence chez l’enfant est présent dès la fin du CP

Conclusion

Articles EEG

- Dufau, S., Grainger, J., & Holcomb, P.J. (2008). Cognitive, Affective and Behavioral Neuroscience.- Massol, S., Grainger, J., Dufau, S., Holcomb, P. (en révision). Journal of Experimental Psychology: Human, Perception and Performance.- Rey, A., Dufau, S., Massol, S. & Grainger, J. (sous presse). Cognitive Neuropsychology.

Articles modélisation

- Dufau, S., Lété, B., Touzet, C., Glotin, H., Ziegler, J.C., Grainger, J. (soumis). European Journal of Cognitive Psychology. Projet ANR porté par Jonathan Grainger.- Grainger, J., Rey, A., & Dufau, S. (2008). Trends in Cognitive Sciences.

Conférences ESCOP 2007, NEUROCOMP 2008, NEUROCOMP 2006, EDSVS 2005, LECA 2005

Chapitre Dufau, S., Touzet, C., & Grainger, J. (2006). Lisibilité des mots sur le Web : ce que nous apprend la modélisation de la reconnaissance orthographique.

Conclusion

Approche comportementale

• Décision lexicale

Modèles implémentés (4)

Modèle triangulaire

utilisé dans l’établissement des liens ortho-phonologiques- les entrées orthographiques sont des ensemble de 3 lettres contigües- les informations sont représentés de façon distribuée (pattern d’activation)- algorithme d’apprentissage qui permet, à la fin de l’apprentissage, de catégoriser les entrées en fonction de leur régularité statistique (effet de fréquence, lexicalité, consistance)

Seidenberg & McClelland (1989)

motsorthographiques

motsphonologiques

unitéssémantiques

Catégorisation sémantique en EEG (2)

Liaison EEG / modèle

N1/P2

T-A T-B T-L T-E A-BA-L A-E B-L B-E L-E

TABLE

# T A B L E #Lettres indépendantesde la forme

Lettres indépendantes de la position

Mot orthographique

N400

Traits visuels

Partie 1 - EEG

Résultats N250 et N400

Partie 1 - EEG

Documents

Jury :Ludovic FerrandRapporteur Hervé GlotinExaminateur Jonathan Grainger Co-directeur Bernard LétéRapporteur