Modélisation cognitive computationnelle de trajets oculomoteurs lors d'une tâche de recherche d'information Myriam Chanceaux 24 novembre 2009 Mme Anne

Modélisation cognitive computationnelle de trajets oculomoteurs lors d'une tâche de recherche d'information

Myriam Chanceaux

24 novembre 2009

Mme Anne Guérin-DuguéM. Benoît Lemaire

Mme Mireille Bétrancourt Mme Karine Doré-Mazars M. Frédéric Alexandre

M. Thierry BaccinoM. Jean Caelen

Directeurs :

Rapporteurs :

Examinateurs :

Application à un environnement

complexe

Contexte et Problématique

Modélisation

Conclusions et Perspectives


simple

Plan

Soutenance Myriam Chanceaux 2 / 4224/11/2009


Processus ascendants

Processus descendants

Proche-Orient

Tâche de recherche d’information


Modélisation cognitive

Modéliser pour comprendre les processus cognitifs impliqués

Modéliser pour prédire le comportement des utilisateurs

Simulation de trajets oculomoteurs Recherche guidée par un but


Contexte

Image Saillance visuelle

(Treisman & Gelade, 1980) (Itti & Koch, 2000)

Recherche visuelle Guided search 4.0 (Wolfe,

2007) Area activation model

(Pomplun, 2007) (Navalpakkam & Itti,

2007)

Texte Lecture

EZ-Reader (Reichle et al, 1998)

SWIFT (Engbert et al., 2002)

LSA (Landauer, 2007)

Navigation CoLiDeS (Kitajima et al,

2000) Snif-Act (Pirolli & Fu, 2003)

EZ-Reader SWIFT Exemple de tâche : trouver un site avec

la date d'une pièce de théâtre Simulation des actions

Liens cliqués Pages abandonnées

Chaque lien a une valeur informative (Information Scent)

Chaque page a une valeur informative moyenne

Analyse de la sémantique latente (LSA) Landauer, 2007

Modèle cognitif computationnel de représentation des connaissances sémantiques en mémoire à long terme

A partir de grand corpus de texte 24 Millions de mots issus des articles du Monde de

l’année 1999 Matrice de co-occurrence entre les termes et les

documents et décomposition en valeurs singulières Représentation vectorielle des mots dans un espace

d’environ 300 dimensions Similarité entre mots ou groupes de mots mesurée par le

cosinus entre les vecteurs Proximité sémantique calculée avec LSA proche du

jugement humain


soupe

citron

chocolat

pharmacie

apport

plante

vigne

gibier

saveur

extrait

litre

poison

marmite

tonneau

floraison

jardinier

mouchecruchefeuillage

sueur

jardin

chasse

lingeréserve

sommeil

faiblesse

prairie

militaire

chagrin

commerce

jument

merveille

Corpus de

textes

Corpus de

textes

LSA



Modélisation



simple


complexe

Expérimentations

Ajustement des paramètres et

validation

Expérimentations


validation


Interaction des processus



Modélisation



simple


complexe

Expérimentations


validation

Expérimentations


validation


Exemple de page

Objectif : Trouver l’instrument de musique le plus petit

Objectif : Trouver le poisson le plus dangereux

Fixation courante sur baleine


Processus modélisés

Visuel Acuité Saillance

Sémantique Plus les éléments sont

proches spatialement plus ils le sont sémantiquement

Mémoire Mécanisme d’oubli

Intégration Somme pondérée

+ + =


Variable Memory Model Arani, 1984 ; Horowitz, 2006

2 paramètres Encodage θ Récupération φ À la ième époque le modèle “se

souvient” de l’item vu à la kième époque avec la probabilité

Pi,k= θ φi-k

Tâche de recherche visuelle θ=0.82 φ=0.86



Modélisation



simple


complexe

Expérimentations


validation

Expérimentations


validation


Expérimentations

Méthode 18 pages (recherches) par participant 3 conditions visuelles (intra-sujet) 2 conditions sémantiques (inter-sujet)

Deux versions Mots de taille variable (de 13 à 19)

43 participants Mots de couleur variable (rouge et noir)

29 participants


Processus expérimental



Modélisation



simple


complexe

Expérimentations


validation

Expérimentations


validation


Besoin de variables « haut-niveau » pour comparer les données et ajuster les paramètres du modèle Nombre de mots vus

avant d’atteindre la cible Taux de saccades

progressives (saccades se rapprochant de la cible)

Exemple Quelle est la plante la

plus piquante? Cible : Cactus

7 mots

Tx : 0.75

7 mots

Tx : 0.625

5 mots

Tx : 0.71


Ajustement des paramètres

Pondération des processus αV (visuel), αM (mémoire) et αS

(sémantique) tels que αV + αM + αS =1

Paramétrisation de la mémoire θ (encodage) et Ф (récupération)

24/11/2009 Soutenance Myriam Chanceaux 19 / 42

Résultats des comparaisonsExpé Taille

Expé Couleur



Modélisation



simple


complexe

Expérimentations


validation

Expérimentations


validation


Matériel expérimental

Paragraphes de texte

Deux organisations des blocs En lignes et en

colonnes En pêle-mêle

Avec titre Sans titre


Modélisation à deux niveaux

Au niveau des blocs Quel sera le prochain bloc?

Premières visites Revisites

Au niveau des mots Quand quitte-t-on le bloc? Lecture du texte


Niveau des blocs : 1ères visites

Parcours planifié Gist Visite séquentielle de tous les blocs 2 paramètres pour simuler les préférences

culturelles Préférence vers le bas Préférence vers la droite


Niveau des blocs : revisites

Plusieurs processus en compétition à intégrer Processus sémantico-mnésique - SMem

Mécanisme d’oubli (IOR, VMM) Tendance à retourner vers les blocs

oubliés Intérêt des blocs (LSA)

Tendance à retourner vers les blocs intéressants

Processus visuel - Vis Acuité visuelle

Tendance à aller vers les blocs proches spatialement


Niveau des mots

Modèle simple de lecture mot à mot du bloc Étiquetage morpho-syntaxique des mots avec Tree-Tagger : omission des

mots-outils Continuer ou arrêter la lecture? Similarité LSA entre la séquence de mots traités et le thème de la recherche Abandon du paragraphe s’il est très proche du thème ou pas pertinent du

tout

Thème : Victoire des footballeurs

Niveau des mots : Titre

Organisateur paratextuel Oriente la lecture

Prise en compte du titre dans le modèle en doublant son poids

Calcul de similarité entre le thème « Hausse de la bourse » et

« Finance Finance bourse tokyo, etc »

Soutenance Myriam Chanceaux 26 /4224/11/2009


Exemple de trajet simulé

Thème de recherche : Observation des planètes



Modélisation



simple


complexe

Expérimentations


validation

Expérimentations


validation


Matériel expérimental

Sélection de 20 thèmes de recherche Observation des planètes, aide aux réfugiés, réchauffement

climatique, conflit en Irak, réforme de la justice, etc. 7 paragraphes par page

2 paragraphes fortement associés au thème (Association Forte, AF) 2 paragraphes moyennement associés (Association Faible, Afa) 3 paragraphes sans lien (Aucune Association, AA)

Une photographie (reliée à un AF ou AA) 2 organisations :

Lignes et colonnes (3 blocs avec un fond coloré) 38 participants

Pêle-mêle 27 participants (15 Avec Titre et 12 Sans Titre)


Processus expérimental

Premières analyses




Modélisation



simple


complexe

Expérimentations


validation

Expérimentations


validation


Optimisation des intervalles de variation des paramètres à partir de calculs de distance de Levenshtein Préférence vers le bas Préférence vers la droite

Ajustement des paramètres (1)

N

U

Z

N2

U2

Z2


Ajustement des paramètres (2)

Prise en compte du titre 2 paramètres : 1ère fixation 2nde fixation


Matrices de transition

Participants Modèle

Comparaisons données empiriques et simulées

Au niveau des blocs : Lignes & colonnes



Au niveau des blocs : Pêle-mêle

Directions des transitions


En lignes et en colonnes Pêle-mêle


Au niveau des blocs : Revisites

Taux de blocs revisités selon le type de bloc (Association Forte, Association Faible ou Aucune Association)


Sans Titre Avec Titre

10 fixations, 31 mots → tx = 0.32


Au niveau des mots

Taux de lecture (nombre de

fixations / nombre de mots) selon le type de bloc (Association Forte, Association Faible ou Aucune Association)



Modélisation



simple


complexe

Expérimentations


validation

Expérimentations


validation


Conclusions

Modèle qui permet de simuler la scrutation d’une page lors d’une tâche de recherche d’information

Prise en compte de différents types d’information

Travail pluridisciplinaire Premières simulations permettant une

base solide pour de futurs travaux


Modélisation des durées des fixations Saccades exploratoires Prise en compte de processus décisionnels,

permettant l’arrêt de la recherche Intégration des différences inter-individuelles Ajout d’un système de saillance visuelle plus

complexe et traitement de la photo Application à des environnements encore plus

complexes et plus proches de réelles pages Web

Perspectives

Merci de votre attention

Documents

Modélisation cognitive computationnelle de trajets oculomoteurs lors d'une tâche de recherche d'information Myriam Chanceaux 24 novembre 2009 Mme Anne