Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2012 Introduction à la modélisation bayésienne Julien Diard Laboratoire de Psychologie et

Julien Diard — LPNC-CNRSCours M2R Psychologie Cognitive — UE18S3 — 2012

Introduction à la modélisation bayésienne

Julien DiardLaboratoire de Psychologie et NeuroCognition – CNRS

UE18S3 Psychophysique et analyse des signaux13/11/2012

http://diard.wordpress.com [email protected]


2

Êtes-vous « Bayésien » ?• I’m a bayesian if I use the word “probability”.• I’m a bayesian if I use the word “conditional probability”.• I’m a bayesian if I use Bayes’ rule.• I’m a bayesian if I use Bayes’ rule in order to make inference.• I’m a bayesian if I think that probabilities represent states of

knowledge.• I’m a bayesian if I think that probabilities represent states of

knowledge and I also consider my parameters as random variables.• I’m a bayesian if I think that probabilities represent states of

knowledge and I use priors (no MaxLikelihood).• I’m a bayesian if I think that probabilities represent states of

knowledge and I use priors and I use priors on priors (hierarchical models).

• I’m a bayesian if I think that probabilities represent states of knowledge and I use subjective priors.

• I’m a bayesian if I think that probabilities represent states of knowledge and I use priors and I never use MAP.

Blog de Pierre Dangauthier


Probability Theory As Extended Logic

• Probabilités « subjectives »– Référence à un état de

connaissance d’un sujet• P(« il pleut » | Jean),

P(« il pleut » | Pierre)• Pas de référence à la

limite d’occurrence d’un événement (fréquence)

• Probabilités conditionnelles

– P(A | π) et jamais P(A)

– Statistiques bayésiennes

• Probabilités « fréquentistes »– Une probabilité est une

propriété physique d’un objet

– Axiomatique de Kolmogorov, théorie des ensembles

– – Statistiques classiques

• Population parente, etc.

3

E.T. Jaynes (1922-1998)


Inférence probabiliste

• Théorème– Si on connaît la distribution conjointe

P(X1 X2 … Xn | π)

– Alors on peut calculer n’importe quelle « question »

P(X1 | [Xn = xn] π)

P(X2 X4 | [X3 = x3] π)

4


5

• Si P() = uniforme–

• Modèle de maximum de vraisemblance• Maximum Likelihood (MLE)

• Si P() uniforme– Modèle = prior vraisemblance

• Modèle de maximum a posteriori (MAP)• Modèle bayésien

Posterior Prior Vraisemblance


Plan

• Introduction à la modélisation bayésienne– En Intelligence Artificielle

• Historique

– En robotique• Exemple de Programme Bayésien

– En sciences (physiques) • Méthodologie de sélection de modèles• Exemples de « bayésien caché »

– En sciences cognitives • Modélisation de la perception et de l’action

6


Plan• Introduction à la modélisation bayésienne

– En sciences cognitives • Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique– Causal inference (Körding et al., 07)– Question ouverte

• Modélisation bayésienne de l’action– Modèle de minimum variance

• Modélisation bayésienne ailleurs• Modélisation de la perception et de l’action : boucles sensorimotrices

– Exemple : modélisation de l’écriture et de la lecture– Exemple : modélisation de la perception et de la production de parole

7


Modélisation de la perception multi-

• Multi-?– Intramodale : multi-indice– Multimodale : multi-sensorielle

• Modèle de pondération linéaire

8

(Lambrey, 2005)


Modèle de pondération linéaire

9


Modélisation de la

perception• Perception

– Un problème inverse (Poggio, 1984)

• Modèle bayésien– Inversion + hypothèse

d’indépendance conditionnelle–

10

S1

S2

Sn

V

S1S2Sn

V?

€

P S1S2...SnV |C( )

= P V |C( )P S1 |VC( )P S2 |VC( )...P Sn |VC( )

stimulus

sensations

perception


11

€

P S1S2...SnV |C( )


• Vision– Perception des plans : préférence pour des

plans rigides, stationnaires (Colas, 06)– Perception des formes (Kersten et al., 04) :

• préférence pour les objets convexes• préférence pour des lumières venant du haut,

stationnaires• préférence pour un point de vue situé au dessus

de la scène


12


Ambigüités

• P(V | S) – inversion de P(S

| V)– Distribution à

plusieurs pics : ambigüité

• Cas classique– image rétinienne

2 D objet réel en 3D

13

Cube de Necker


14

Forme tirée du mouvement

MPI-BC


15

€

P S1S2...SnV |C( )


• Proprioception (Laurens, 07)


16

€

P S1S2...SnV |C( )


• Fusion multi-indices– Haptique : géométrie et force (Drewing &

Ernst, 06)– Vision (Kersten et al., 04)

• Fusion multi-sensorielle– Visuo-acoustique

• Localisation de sources (Alais and Burr, 04, Battaglia et al., 03; Körding et al., 07, Sato et al., 07)

– Visuo-haptique (Ernst & Banks, 02)


Fusion visuo-acoustique :effet McGurk

17


Effet McGurk

• Audio : ba– Lèvres fermées

• Vidéo : /ga/– Lèvres ouvertes

• Situation de conflit : perception /da/

18


Fusion trimodale

• Stimuli audio, visuels et tactiles• Tâche : compter dans chaque

modalité

19

(Wozny, Beierholm and Shams, 2008)


Fusion trimodale

20








21


Nature, 429–433, 2002


23

Humans integrate visual and haptic information in a

statistically optimal fashion

• Mécanisme d’integration visuo-haptique par fusion de gaussiennes

• Utilisé par les humains


24

Plan

• Protocole expérimental• Modèle bayésien de fusion

capteurs• Comparaison du modèle au

données


25

Matériel expérimental


26

Stimuli visuels


27

Stimuli et tâche

• 4 niveaux de bruit visuel : 0% 67% 133% 200%

• 1 niveau haptique

• 1 s de présentation

• Tâche de choix forcé– laquelle de ces deux

barres est la plus grande ?


28

Cas mono-modal


Integration visuo-haptique

• Comparison stimulus – visual and haptic

heights equal– vary in 47-63 mm

• Standard stimulus– visual and haptic

heights differ– Δ = {±6 mm, ±3

mm, 0}– mean is 55 mm

29



0%

30


0%67%


31


0%67%

133%


32


0%67%

133%200%


33


Plan



données

34


Modèle bayésien de fusion « naïve »

35



36


• Estimateur de maximum de vraisemblance– – Par opposition à Bayésien

• « Statistiquement optimal »– Moindre variance :


37


Plan



données

38


Quelles gaussiennes ?

• Choix d’une gaussienne parmi 2

• Point d’égalité subjective– PSE : moyenne

• Seuil de discrimination–

T = 0.085 x 55 mm

0.04 x 55 mm

39



• Comparison stimulus – visual and haptic

heights equal– vary in 47-63 mm

• Standard stimulus– visual and haptic

heights differ– Δ = {±6 mm, ±3

mm, 0}– mean is 55 mm

40



41

0%67%

133%200%


0%67%

133%200%

Comparaison modèle - données

42


43

Moyennes prédites - observées


44

JND

Variances prédites - observées


Questions, critiques ?

45








46


Perception audio-visuelle

• Effet ventriloque

(Alais and Burr, 2004)

47


Causal inference (Körding et al., 07; Sato et al., 07)

• Y a-t-il une source unique, ou deux sources distinctes ?

48


Données expérimentales

49


50


51

Modèle ségrégation totaleC=2

Modèle intégration totaleC=1

Modèle « causal inference »C variable inconnue sommation sur C

Modèle « causal inference »sans propagation tirage sur C


Sommation / tirage• P(A B C) = P(A) P(B | A) P(C | B)• Inférence de P(C | A)

52

A

B

C

Inférence exacte : sommation

Inférence approximée: tirage

Tirer b selon P(B | [A=a])Tirer c selon P(C | [B=b])

Propagation des incertitudesSommation « dictée » par le formalisme, pas par le modèle !


Pour chaque sujet– Calcul des

paramètres sur la moitié des données : R2 = 0.98

– Validation croisée sur l’autre moitié : R2 = 0.96

53








54


Question ouverte

• De nombreux exemples d’application du modèle de fusion

• Limite de validité du modèle ?• Valeur d’un modèle qui

s’applique partout ?

cf. le débat sur les modèles bayésiens en Sciences Cognitives

55








56


57


Espace de travail

• Minimisation des dérivées du mouvement de l’extrêmité

– n=2 minimum acceleration– n=3 minimum jerk– n=4 minimum snap

58


Minimum jerk

• Prédit des segments droits• Pas observés pour des

mouvements de grande amplitude

59

Lacquaniti et al. (1986)


Espace des couples moteurs

• Minimisation des couples zi générés à chaque articulation

60


Minimum variance

• Bruit dépendant du signal (signal dependent noise SDN)

61


Bayesian integration in sensorimotor learning

62

(Körding & Wolpert, Nature, 2004)








63


Représentation des probabilités dans le CNS

• Tversky & Kahneman, Science, 1981– Sur-estimation des

probabilités faibles– Sous-estimation des

probabilités fortes

– Traite les effets positifs et négatifs différemment


Bayesian Decision Theory

• Modèle probabiliste + modèle de coût (reward, cost, loss function)

65

Prior

Posterior

Likelihood

Cost function

X

X

Bayes theorem Bayesian

decision theory

outputobservation i


Voici les Tufas

66

(Tenenbaum et al., Science, 2011)


Est-ce que c’est un Tufa ?

67


68


Prior uniforme sur le tirage des Tufas dans leur

catégorie

69


Apprentissage des

structures• Mais aussi

apprentissage des régularités grammaticales– Chater & Manning,

TICS, 2006

70

(Tenenbaum et al., Science, 2011)


Apprentissage bayésien

chez les enfants• 8 mois• Surprise sur

l’événement de faible probabilité– Xu & Garcia,

PNAS, 2008– Gopnik, Science,

2012

71


Apprentissage bayésien

chez les enfants• 30 mois• Apprentissage de

structure causale– Gopnik & Schulz,

TICS, 2004– Griffiths et al.,

Cognitive Science, 2011

72








73


• Modélisation bayésienne d’une boucle sensorimotrice : application à la lecture et à l’écriture

74


• Modélisation bayésienne d’une boucle sensorimotrice : application à la perception et la production de la parole

75


Merci de votre attention !

Questions ?

Documents

Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2012 Introduction à la modélisation bayésienne Julien Diard Laboratoire de Psychologie et