Upload
sabine-letellier
View
107
Download
2
Embed Size (px)
Citation preview
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation bayésienne de la perception et de l’action
Julien DiardLaboratoire de Psychologie et NeuroCognition – CNRS
UE Cognition bayésienne03/02/2009
http://julien.diard.free.fr [email protected]
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
2
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
3
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
4
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation de la perception multi-
• Multi-?– Sensorielle / indice – multimodale / intramodale
• Modèle de pondération linéaire
5
(Lambrey, 2005)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle de pondération sensorielle
6
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation de la
perception• Perception
– Un problème inverse (Poggio, 1984)
• Modèle bayésien– Inversion + hypothèse
d’indépendance conditionnelle–
7
S1
S2
Sn
V
S1S2Sn
V?
€
P S1S2K SnV |C( )
= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
8
€
P S1S2K SnV |C( )
= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )• Vision
– Perception des plans : préférence pour des plans rigides, de stationnaires (Colas, 06)
– Perception des formes (revue de Kersten et al., 04) :
• préférence pour les objets convexes• préférence pour des lumières venant
du haut, stationnaires• préférence pour un point de vue
situé au dessus de la scène
• Proprioception (Laurens, 08)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
9
• Fusion multi-indices– Haptique : géométrie et force (Drewing &
Ernst, 06)– Vision (Kersten et al., 04)
• Fusion multi-sensorielle– Visuo-haptique (Ernst & Banks, 02)– Visuo-acoustique
• Localisation de sources (Battaglia et al., 03)• effet McGurk• Reconnaissance de voyelles (Gilet, 06)
€
P S1S2K SnV |C( )
= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
10
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Nature, 429–433, 2002
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
12
Humans integrate visual and haptic information in a
statistically optimal fashion
• Mécanisme d’integration visuo-haptique par fusion de gaussiennes
• Utilisé par les humains
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
13
Plan
• Protocole expérimental• Modèle bayésien de fusion
capteurs• Comparaison du modèle au
données
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
14
Matériel expérimental
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
15
Stimuli visuels
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
16
Stimuli et tâche
• 4 niveaux de bruit visuel : 0% 67% 133% 200%
• 1 niveau haptique
• 1 s de présentation
• Tâche de choix forcé– laquelle de ces deux
barres est la plus grande ?
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
17
Cas mono-modal
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Integration visuo-haptique
0%
18
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
0%67%
Integration visuo-haptique
19
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
0%67%
133%
Integration visuo-haptique
20
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
0%67%
133%200%
Integration visuo-haptique
21
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan
• Protocole expérimental• Modèle bayésien de fusion
capteurs• Comparaison du modèle au
données
22
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle bayésien de fusion « naïve »
23
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle bayésien de fusion « naïve »
24
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
• Estimateur de maximum de vraisemblance– – Par opposition à Bayésien
• « Statistiquement optimal »– Moindre variance :
Modèle bayésien de fusion « naïve »
25
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan
• Protocole expérimental• Modèle bayésien de fusion
capteurs• Comparaison du modèle au
données
26
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Quelles gaussiennes ?
• Choix d’une gaussienne parmi 2
• Point d’égalité subjective– PSE : moyenne
• Seuil de discrimination–
T = 0.085 x 55 mm
0.04 x 55 mm
27
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Integration visuo-haptique
28
0%67%
133%200%
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
0%67%
133%200%
Comparaison modèle - données
29
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
30
Moyennes prédites - observées
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
31
JND
Variances prédites - observées
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Questions, critiques ?
32
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
33
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Perception multi-sensorielle
• En psychophysique– Ernst & Banks– JND, PSE, …
• En psychologie cognitive ?
34
0%67%
133%200%
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
• Modélisation bayésienne de la perception visuo-acoustique de voyelles
35
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Perception audiovisuelle
36
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Perception audiovisuelle
37
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Remarque
38
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation bayésienne de la perception
audiovisuelle• Trois modèles bayésiens
– Modèle M0
– Modèle M1
– Modèle M2
• Comparaison bayésienne des modèles
39
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Espace interne de M0
40
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle M0
41
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle M0
42
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle M0
43
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle M0 : résultats
44
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle M1
45
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle M1 : résultat
46
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle M2
47
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle M2 : résultat
48
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
49
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Question ouverte
• De nombreux exemples d’application du modèle de fusion
• Limite de validité du modèle ?
• Valeur d’un modèle qui s’applique partout ?
50
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
51
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation du contrôle
• Mouvements de pointage, volontaire, chez l’humain
• Etude des régularités– Lois du mouvement
• Hypothèses sur les mécanismes – Modèles (neuro)cognitifs
52
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
3 lois
• Isochronie• Loi de Fitts• Loi de la puissance 2/3
53
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
54
Tâche : Saisie d’un cylindre à différentes distances (40,32,25)
Résultats : Temps similaire/augmentation de la vitesse
L’Isochronie : la durée du mouvement reste stable quelque soit l’amplitude du mouvement
Ex : Saisie (Jeannerod 1984)
La durée du mouvement semble fixée à l’avance
Palluel-Germain, 08
Vitesse (cm/s)
Durée (ms)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
• Cible de taille W à une distance D
55
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
56
Loi de puissance de 2/3V(t) = K * R(t) 1-βK = gain de vitesseV(t) = vitesse du mouvementR(t) = rayon de courbure1-β = 1/3
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèles de planification de mouvements
57
Planification de mouvement =Sélection d’une trajectoire selon un coût
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Observations• Les trajectoires de la main
sont invariantes et quasiment rectilignes quelles que soit les positions initiales et terminales du mouvement et s’accompagnent toutes d’un profil de vitesse en cloche.
• Au contraire, lorsque les mouvements sont décrits selon leur trajectoire articulaire une grande variabilité est observée
58
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Espaces de contrôle
• Planification intrinsèque– Espace articulaire
• Planification extrinsque– Espace cartésien
59
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
60
Trajectoire observéeChangement angulaire des articulations
D’après Hollerbach & Atkeson (1986)
Modèle d’interpolation linéaire dans l’espace
articulaire
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle d’interpolation linéaire dans l’espace
articulaire
61
βα
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
62
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Espace de travail
• Minimisation des dérivées de l’endpoint
– n=2 minimum acceleration– n=3 minimum jerk– n=4 minimum snap
63
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Minimum jerk
• Prédit des segments droits• Pas observés pour des
mouvements de grande amplitude
64
Lacquaniti et al. (1986)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Espace des couples moteurs
• Minimisation des couples zi générés à chaque articulation
65
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Minimum variance
• Bruit dépendant du signal (signal dependent noise SDN)
66
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
67
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
• Modélisation bayésienne d’une boucle sensorimotrice : application à l’écriture
68
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Equivalence motrice
69
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
70
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
71
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
72
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
73
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
74
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
75
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
76
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
77
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
78
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
79
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
80
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
81
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
82
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
83
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
84
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Questions ouvertes
• Modélisation bayésienne de boucles sensorimotrices
Vraiment ?
85
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
• Boucle ouverte
86
musclesMotor commands force
Body partState change
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
87
muscles
Motor commandsforce
Body partState change
Sensory system
ProprioceptionVision
Audition
Measured sensory
consequencesIntegration
Tps
Vitesse
• Boucle fermée
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
88 88
muscles
Motor commandsforce
Body partState change
Sensory system
ProprioceptionVision
Audition
Measured sensory
consequencesIntegration
40 ms
100 ms
???
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
89
musclesMotor commandsforce
Body partState change
Sensory system
ProprioceptionVision
Audition
Measured sensory
consequences
Forward model
Predicted sensory consequences
Integration
Belief
What we sense depends on what we predicted
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
90
Expérience de saisie
Expérience d’auto chatouillage
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation d’une boucle sensorimotrice
• Apprentissage = passage d’une boucle fermée à une
boucle ouverte ?
91
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Une boucle vs. des boucles
• Hiérarchie de boucles• Constantes de temps• Apprentissage hiérarchique
92
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Merci de votre attention !
Questions ?