Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Modélisation...

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modélisation bayésienne de la perception et de l’action

Julien DiardLaboratoire de Psychologie et NeuroCognition – CNRS

UE Cognition bayésienne03/02/2009

http://julien.diard.free.fr Julien.Diard@upmf-grenoble.fr

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

2

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes

• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance

• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes

3

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes

• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance

• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes

4

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modélisation de la perception multi-

• Multi-?– Sensorielle / indice – multimodale / intramodale

• Modèle de pondération linéaire

5

(Lambrey, 2005)

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modèle de pondération sensorielle

6

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modélisation de la

perception• Perception

– Un problème inverse (Poggio, 1984)

• Modèle bayésien– Inversion + hypothèse

d’indépendance conditionnelle–

7

S1

S2

Sn

V

S1S2Sn

V?

€

P S1S2K SnV |C( )

= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

8

€

P S1S2K SnV |C( )

= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )• Vision

– Perception des plans : préférence pour des plans rigides, de stationnaires (Colas, 06)

– Perception des formes (revue de Kersten et al., 04) :

• préférence pour les objets convexes• préférence pour des lumières venant

du haut, stationnaires• préférence pour un point de vue

situé au dessus de la scène

• Proprioception (Laurens, 08)

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

9

• Fusion multi-indices– Haptique : géométrie et force (Drewing &

Ernst, 06)– Vision (Kersten et al., 04)

• Fusion multi-sensorielle– Visuo-haptique (Ernst & Banks, 02)– Visuo-acoustique

• Localisation de sources (Battaglia et al., 03)• effet McGurk• Reconnaissance de voyelles (Gilet, 06)

€

P S1S2K SnV |C( )

= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes

• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance

• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes

10

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Nature, 429–433, 2002

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

12

Humans integrate visual and haptic information in a

statistically optimal fashion

• Mécanisme d’integration visuo-haptique par fusion de gaussiennes

• Utilisé par les humains

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

13

Plan

• Protocole expérimental• Modèle bayésien de fusion

capteurs• Comparaison du modèle au

données

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

14

Matériel expérimental

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

15

Stimuli visuels

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

16

Stimuli et tâche

• 4 niveaux de bruit visuel : 0% 67% 133% 200%

• 1 niveau haptique

• 1 s de présentation

• Tâche de choix forcé– laquelle de ces deux

barres est la plus grande ?

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

17

Cas mono-modal

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Integration visuo-haptique

0%

18

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

0%67%

Integration visuo-haptique

19

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

0%67%

133%

Integration visuo-haptique

20

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

0%67%

133%200%

Integration visuo-haptique

21

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan

• Protocole expérimental• Modèle bayésien de fusion

capteurs• Comparaison du modèle au

données

22

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modèle bayésien de fusion « naïve »

23

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modèle bayésien de fusion « naïve »

24

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

• Estimateur de maximum de vraisemblance– – Par opposition à Bayésien

• « Statistiquement optimal »– Moindre variance :

Modèle bayésien de fusion « naïve »

25

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan

• Protocole expérimental• Modèle bayésien de fusion

capteurs• Comparaison du modèle au

données

26

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Quelles gaussiennes ?

• Choix d’une gaussienne parmi 2

• Point d’égalité subjective– PSE : moyenne

• Seuil de discrimination–

T = 0.085 x 55 mm

0.04 x 55 mm

27

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Integration visuo-haptique

28

0%67%

133%200%

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

0%67%

133%200%

Comparaison modèle - données

29

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

30

Moyennes prédites - observées

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

31

JND

Variances prédites - observées

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Questions, critiques ?

32

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes

• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance

• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes

33

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Perception multi-sensorielle

• En psychophysique– Ernst & Banks– JND, PSE, …

• En psychologie cognitive ?

34

0%67%

133%200%

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

• Modélisation bayésienne de la perception visuo-acoustique de voyelles

35

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Perception audiovisuelle

36

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Perception audiovisuelle

37

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Remarque

38

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modélisation bayésienne de la perception

audiovisuelle• Trois modèles bayésiens

– Modèle M0

– Modèle M1

– Modèle M2

• Comparaison bayésienne des modèles

39

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Espace interne de M0

40

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modèle M0

41

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modèle M0

42

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modèle M0

43

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modèle M0 : résultats

44

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modèle M1

45

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modèle M1 : résultat

46

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modèle M2

47

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modèle M2 : résultat

48

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes

• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance

• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes

49

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Question ouverte

• De nombreux exemples d’application du modèle de fusion

• Limite de validité du modèle ?

• Valeur d’un modèle qui s’applique partout ?

50

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes

• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance

• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes

51

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modélisation du contrôle

• Mouvements de pointage, volontaire, chez l’humain

• Etude des régularités– Lois du mouvement

• Hypothèses sur les mécanismes – Modèles (neuro)cognitifs

52

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

3 lois

• Isochronie• Loi de Fitts• Loi de la puissance 2/3

53

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

54

Tâche : Saisie d’un cylindre à différentes distances (40,32,25)

Résultats : Temps similaire/augmentation de la vitesse

L’Isochronie : la durée du mouvement reste stable quelque soit l’amplitude du mouvement

Ex : Saisie (Jeannerod 1984)

La durée du mouvement semble fixée à l’avance

Palluel-Germain, 08

Vitesse (cm/s)

Durée (ms)

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

• Cible de taille W à une distance D

55

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

56

Loi de puissance de 2/3V(t) = K * R(t) 1-βK = gain de vitesseV(t) = vitesse du mouvementR(t) = rayon de courbure1-β = 1/3

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modèles de planification de mouvements

57

Planification de mouvement =Sélection d’une trajectoire selon un coût

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Observations• Les trajectoires de la main

sont invariantes et quasiment rectilignes quelles que soit les positions initiales et terminales du mouvement et s’accompagnent toutes d’un profil de vitesse en cloche.

• Au contraire, lorsque les mouvements sont décrits selon leur trajectoire articulaire une grande variabilité est observée

58

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Espaces de contrôle

• Planification intrinsèque– Espace articulaire

• Planification extrinsque– Espace cartésien

59

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

60

Trajectoire observéeChangement angulaire des articulations

D’après Hollerbach & Atkeson (1986)

Modèle d’interpolation linéaire dans l’espace

articulaire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modèle d’interpolation linéaire dans l’espace

articulaire

61

βα

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

62

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Espace de travail

• Minimisation des dérivées de l’endpoint

– n=2 minimum acceleration– n=3 minimum jerk– n=4 minimum snap

63

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Minimum jerk

• Prédit des segments droits• Pas observés pour des

mouvements de grande amplitude

64

Lacquaniti et al. (1986)

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Espace des couples moteurs

• Minimisation des couples zi générés à chaque articulation

65

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Minimum variance

• Bruit dépendant du signal (signal dependent noise SDN)

66

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes

• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance

• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes

67

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

• Modélisation bayésienne d’une boucle sensorimotrice : application à l’écriture

68

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Equivalence motrice

69

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

70

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

71

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

72

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

73

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

74

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

75

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

76

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

77

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

78

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

79

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

80

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

81

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

82

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

83

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes

• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance

• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes

84

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Questions ouvertes

• Modélisation bayésienne de boucles sensorimotrices

Vraiment ?

85

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

• Boucle ouverte

86

musclesMotor commands force

Body partState change

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

87

muscles

Motor commandsforce

Body partState change

Sensory system

ProprioceptionVision

Audition

Measured sensory

consequencesIntegration

Tps

Vitesse

• Boucle fermée

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

88 88

muscles

Motor commandsforce

Body partState change

Sensory system

ProprioceptionVision

Audition

Measured sensory

consequencesIntegration

40 ms

100 ms

???

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

89

musclesMotor commandsforce

Body partState change

Sensory system

ProprioceptionVision

Audition

Measured sensory

consequences

Forward model

Predicted sensory consequences

Integration

Belief

What we sense depends on what we predicted

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

90

Expérience de saisie

Expérience d’auto chatouillage

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modélisation d’une boucle sensorimotrice

• Apprentissage = passage d’une boucle fermée à une

boucle ouverte ?

91

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Une boucle vs. des boucles

• Hiérarchie de boucles• Constantes de temps• Apprentissage hiérarchique

92

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Merci de votre attention !

Questions ?