88
Julien Diard — LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » — 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire de Psychologie et NeuroCognition – CNRS UE Cognition bayésienne 24/02/2009 http://julien.diard.free.fr Julien.Diard@upmf- grenoble.fr

Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Embed Size (px)

Citation preview

Page 1: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Comparaison et sélection Bayésienne de modèles

Julien DiardLaboratoire de Psychologie et NeuroCognition – CNRS

UE Cognition bayésienne24/02/2009

http://julien.diard.free.fr [email protected]

Page 2: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Correctif Ernst & Banks

2

Page 3: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

3

Cas mono-modal

Page 4: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

0%67%133%200%

Integration visuo-haptique

4

Page 5: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

5

Page 6: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

6

Page 7: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Importance des variables cachées

7

Page 8: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modélisation d’une série temporelle

t y delta_y dy seuillé81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0

8

Page 9: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

-1 7,00 0,290 6,00 0,251 11,00 0,46

t y delta_y dy seuillé81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0

P(y)

9

Page 10: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Variable cachée V1 = {Bleu, Rouge}

V1=R V1=B

10

Page 11: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

t y delta_y dy seuillé81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0

-1 2,00 0,140 4,00 0,291 8,00 0,57

P(y | [V1=R])

-1 5,00 0,500 2,00 0,201 3,00 0,30

P(y | [V1=B])

11

Page 12: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

V2 = {Bleu, Rouge}t y delta_y dy seuillé

81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0

[V1

=R

][V

1=

B]

P(y | [V1=R] [V2=R])

P(y | [V1=R] [V2=B])

P(y | [V1=B] [V2=R])

P(y | [V1=B] [V2=B])

12

Page 13: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Digression : entropie

• Déf :

• Exemple :

[Shannon, 1948]

13

Page 14: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

• Exemple 2 : P(X), X = {-1, 0, 1}

14

Page 15: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Variables cachées, connaissance et entropie

• Théorème :Les variables cachées apportent de l’information

P(y | [V1=B] [V2=B])P(y)

15

Page 16: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Prédiction de la prochaine valeur ?

P(y)

P(y | [V1=B] [V2=B])t y delta_y dy seuillé

81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0

16

Page 17: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Pour 2007, [V1=B] et [V2=B]

17

Page 18: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

18

Page 19: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

19

Page 20: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Sources

20

Page 21: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Devinettes

• Quel est le suivant ?– {1, 3, 5, 7, 9, 11, ?}– {1, 1, 2, 3, 5, 8, 13, ?}– {0, 4, 7, 6, 8, 2, 5, 8, 9, 3, ?}

21

Page 22: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Réponses

– {1, 3, 5, 7, 9, 11, ?} 42– {1, 1, 2, 3, 5, 8, 13, ?} 42– {0, 4, 7, 6, 8, 2, 5, 8, 9, 3, ?} 42

22

Page 23: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Devinette n° 2

• Combien de méthodes pour définir une relation mathématique ?

23

Page 24: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

• Combien de méthodes pour définir une relation mathématique ?

– Par fonction analytique f• E F• x | f(x)

– Par extension• Ensemble de points• (pas pratique pour un ensemble infini)

24

Page 25: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Quelle méthode pour la devinette ?

• Passage de points à une fonction• Utilisation de la fonction pour prédire

le point suivant

• Modélisation– Passage de points à un modèle– Utilisation du modèle pour prédire le point

suivant

• 25

Page 26: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modélisation• Définition d’une classe de modèles• Sélection du modèle

– Qui maximise une mesure donnée

• Méthode très générale !– Machine learning

• Réseau de neurone• Algorithmes génétiques• Apprentissage bayésien

– Curve fitting– Optimisation

26

Page 27: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Mesures de qualité de modèles• Falsifiability

– Existe-t-il des observations incompatibles ?

• Explanatory adequacy– Make sense of the data but also established findings

• Interpretability– Réifiabilité : les paramètres sont liés à d’autres processus

• Faithfulness– La qualité du modèle vient de sa structure, pas de

propriétés du calcul, de la simulation

• Goodness of fit• Complexity (or simplicity)• Generalizability

27

(Myung 03)

(Léna Soler, Introduction à l’épistémologie, Ellipses,

2000)

Page 28: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

28

Page 29: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Fit vs complexity

• Fit to regularity– Intéressant à

modéliser

• Fit to experimental noise– Pas intéressant

29

Page 30: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Théorème

• Par n points passe un unique polynôme de degré n-1– n points (ou contraintes)– Polynôme degré n-1 a n paramètres

• f(x) = ax2 + bx + c

• Par deux points passe une unique droite• Par trois points passe une unique

parabole

30

Page 31: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Théorème

• Par n points passe un unique polynôme de degré n-1

• Idem développement limité de Taylor

• Idem Transformée de Fourier– avec assez de paramètres, on

approxime tout

31

Page 32: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Fit vs complexity

32

Page 33: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Complexité d’un modèle = Nombre de paramètres + Forme

fonctionnelle

– M1 : y = sin(cos(ax))aexp(-bx)/xb

– M2 : y = axb

– M3 : y = ax + b

33

a=12b=1

Page 34: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Fonctionnelle de Tikhonov

• Mesure à minimiser– R(M, Δ) = GM(Δ) + λ H(M)

– GM(Δ) mesure de fit

– H(M) mesure de complexité (indépendante de Δ)

– λ : poids relatif• Tradeoff a résoudre : complexity

regularization (idem en machine learning)

34

Page 35: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

35

Page 36: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Generalizability

36

Page 37: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Mesure de generalisation

– Mesure de la divergence moyenne (discrepancy) entre un modèle M et le vrai modèle MT

– Mesure de divergence entre distribution de probabilité D

– D(f,g) > D(f,f)=0 si f ≠ g

37

E D(M, MT )[ ] = D(P(Δ ˆ θ M),P(Δ MT ))P(Δ MT )dy∫

Page 38: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Mesure de generalisation

• Mesure de la divergence moyenne (discrepancy) entre un modèle M et le vrai modèle MT

• MT est évidemment inconnu

38

E D(M,MT )[ ] = D(P(Δ ˆ θ M),P(Δ MT ))P(Δ MT )dy∫

Page 39: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

39

Page 40: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Cross-validation (CV)

• Estimer la généralisation du modèle sans connaître le vrai modèle– Partitionner les données Δ– Identification de

paramètres sur la partie calibration

– Estimation de la capacité de généralisation sur la partie validation

40

Page 41: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Méthodes de CV

• Split-sample, hold-out method• Split-half cross-validation

– Coupe en deux Δ = Δ1, Δ2

– Estime les paramètres sur Δ1

– Calcule l’erreur de prédiction sur Δ2 e1

– Intervertir Δ1, Δ2, recommencer e2

• Validation croisée

– Erreur de prédiction finale : moyenne des erreurs de prédiction (e1 + e2) / 2

41

Page 42: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Méthodes de CV

• Leave-one-out cross-validation– Découper en n-1 données pour

l’identification, et 1 donnée pour l’erreur de prédiction

– Répéter n fois– Erreur de prédiction moyenne sur les

n étapes

42

Page 43: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Méthodes de CV

• K-fold cross-validation– K blocs de taille n/K– Données pour l’identification : K-1

blocs (taille n-n/K)– Données pour la prédiction : 1 bloc

(taille n/K)– Idem leave-n/K-out– Choix de K change le résultat

43

Page 44: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Méthode de CV

• Bootstrapping– Tirage avec replacement

subsamples au lieu de subsets des données

– .632+ bootstrap method• 63,2 % de Δ pour l’identification

44

Page 45: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Critique de la CV

• Large training set overfitting• Small training set underfitting• Trouver le bon découpage

– même problème que trouver la bonne pondération dans la fonctionnelle de Tikhonov

• Rien résolu (mais facile à coder)

45

Page 46: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

46

Page 47: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Mesures de distances entre distributions de

probabilités• Kullback-Leibler

– Distance / divergence de Kullback-Leibler

– KL divergence– Information gain– Relative entropy

• Cross entropy• Mutual information

47

Page 48: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

KL divergence

• Pas une mesure de distance– D(p,q) ≠ D(q,p)– D(p,q) > 0 pour tout p,q

– D(p,q) = 0 ssi pk = qk pour tout k

48

D( p,q) = DKL ( p q) = pk log2

pk

qkk

Page 49: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Cross entropy

• Entropie H(p), cross-entropie H(p,q)

• Relation avec la KL divergence

49

D( p,q) = H( p,q) = − pk logqk

k

DKL ( p q) = pk log2

pk

qkk

DKL ( p q) = H(p,q) − H(p)

Page 50: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Mutual information

• mesurée en bits• I(X,Y) = I(Y,X)• I(X,Y) ≥ 0•

50

I(X,Y ) = P(xy)log2

P(xy)

P(x)P(y)y∈Y

∑x∈X

I(X,Y ) = DKL (P(XY ) P(X)P(Y ))

Page 51: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

51

Page 52: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

En modélisation probabiliste

• Un modèle– Point expérimental δ = {x,y}– P(δ) = P(y | x) P(x)

– P(δ | θ1) = P(y | x θ1) P(x | θ1)

– P(δ | θ1 m1) = P(y | x θ1 m1) P(x | θ1 m1)

52

Page 53: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

En modélisation probabiliste

• Plusieurs modèles– Espace de paramètres Θ = {θ1, θ2, …}

– Classe des modèles M = {m1, m2, …}

– Un modèle : P(y | x [Θ = θ1] [M = m1])

• Méta-modèle, modèle hiérarchique– P(Δ Θ M)

= P(δi Θ M) = P(x y Θ M)

= P(y | x Θ M) P(x | Θ M) P(Θ | M) P(M)

53

Page 54: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Mesure de comparaison des modèles

• Probabilité d’un modèle m1, au vu de données expérimentales Δ – P(Δ Θ M)

= P(δi Θ M) = P(x y Θ M)

= P(y | x Θ M) P(x | Θ M) P(Θ | M) P(M)= P(δi | Θ M) P(Θ | M) P(M)

54

Page 55: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

55

• Soient– Un seul modèle M

– D = {d1, …, dn}, un ensemble de données expérimentales

un ensemble de paramètres de M

• Quel est le modèle le plus probable, au vu des données ?

P Θ | D( )∝ P Θ( )P D | Θ( )

∝ P Θ( ) P di | Θ( )i=1

n

(Règle de Bayes)

(Hyp i.i.d.)

Page 56: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

56

• Si P() = uniforme–

• Modèle de maximum de vraisemblance• Maximum Likelihood (MLE)

• Si P() uniforme– Modèle = prior vraisemblance

• Modèle de maximum a posteriori (MAP)• Modèle bayésien

P Θ | D( )∝ P Θ( ) P di | Θ( )i=1

n

Posterior Prior Vraisemblance

P Θ | D( )∝ P di | Θ( )i=1

n

Page 57: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Goodness of fit en probabilités

• Maximiser la vraisemblance P(Δ | Θ M)

• P(Δ | Θ M) = Πi P(δi | Θ M)

• max P(Δ | Θ M)= max log P(Δ | Θ M)= max log Πi P(δi | Θ M)

= max Σi log P(δi | Θ M)57

Page 58: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

58

Page 59: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

59

Tel monsieur Jourdain…

• Un phénomène génère des couples x,y• Un modèle

– prédit y = F(x), F linéaire, F = ax + b– autorise du « bruit » dans les mesures

• On observe D = {dx1, …, dxn}• Question

– Quels sont les paramètres a, b les plus probables ?

p(di Θ) =1

2πσexp −

(di − F(Θ))2

2σ 2

⎝ ⎜

⎠ ⎟

Page 60: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

60

Tel monsieur Jourdain…

P Θ | D( )∝ P Θ( ) P di | Θ( )i=1

n

p(di Θ) =1

2πσexp −

(di − F(Θ))2

2σ 2

⎝ ⎜

⎠ ⎟

Page 61: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

61

Tel monsieur Jourdain…

* = argmaxP Θ | D( )

= argmaxP Θ( )P D | Θ( )

= argmax P di | Θ( )i=1

n

= argmax log P di | Θ( )( )i=1

n

∑ ⎡

⎣ ⎢

⎦ ⎥

= argmin(di − F(Θ))2

2σ i2

i=1

n

∑ ⎡

⎣ ⎢

⎦ ⎥

= argmin (di − F(Θ))2

i=1

n

∑ ⎡

⎣ ⎢

⎦ ⎥

P Θ | D( )∝ P Θ( ) P di | Θ( )i=1

n

p(di Θ) =1

2π σexp −

(di − F(Θ))2

2σ 2

⎝ ⎜

⎠ ⎟

Page 62: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Moindre carrés de l’erreur

• Comme – un Réseau de Neurones &

Backpropagation• (Mitchell 95, p167)

– Une régression linéaire– …

62

Page 63: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

63

Least square fitting sur Mathworldhttp://mathworld.wolfram.com

Page 64: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

64

Pour aller plus loin…

• Inférence dans les cas non-linéaires

• Moindres carrés Bayésien

• Espace de modèles = {3x+2, 4x3-

2x2+4}

• Priors hiérarchiques– P( | )

• Rasoir d’Occam automatique…

P Θ( ) =1

2π σ Θ

exp −(Θ − μ Θ )2

2σ Θ2

⎝ ⎜

⎠ ⎟

* = arg max P Θ | D( )

= arg max P Θ( )P D | Θ( )

= arg max P Θ( ) P di | Θ( )i =1

n

= arg max log P Θ( )( ) + log P di | Θ( )( )i =1

n

∑ ⎡

⎣ ⎢

⎦ ⎥

= arg min(Θ − μ Θ )2

2σ Θ2 +

(di − F(Θ))2

2σ i2

i =1

n

∑ ⎡

⎣ ⎢

⎦ ⎥

= arg min(Θ − μ Θ )2

σ Θ2 +

(di − F(Θ))2

σ i2

i =1

n

∑ ⎡

⎣ ⎢

⎦ ⎥

Page 65: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

65

Page 66: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Odds, posterior odds, evidence

• Une hypothèse H (modèle), et

• Odds , log odds (stats)

66

P(H Δ) =P(H)P(Δ H)

P(Δ)

P(H Δ) =P(H )P(Δ H )

P(Δ)

P(H Δ)

P(H Δ)=

P(H)

P(H )

P(Δ H)

P(Δ H )

H

O(H Δ) =P(H Δ)

P(H Δ)

Page 67: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

• Posterior odds

• Evidence

67

O(H Δ) = O(H)P(Δ H)

P(Δ H )

Odds, posterior odds, evidence

e(H Δ) =10log10 O(H Δ)

e(H Δ) = e(H) +10log10

P(Δ H)

P(Δ H )

e(H Δ) = e(H) +10 log10

P(δ i H)

P(δi H )i

Page 68: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

68

Page 69: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Identification de paramètres vs Sélection de modèles

• Identification de paramètres– P(θ | Δ)– P(θ | Δ M) learning

• Sélection de modèle– P(M θ | Δ)– P(M | Δ)

69

Page 70: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Comparaison de modèles

• Basés sur la vraisemblance– AIC Akaike Information Criterion– BIC Bayesian Information Criterion– MDL Minimum Description Length

– BMS Bayesian Model Selection

70

Page 71: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

AIC

• avec k le nombre de paramètres

• Modèle M qui minimise la mesure AIC• Fonctionnelle de Tikhonov

– AIC = lack of fit + complexity

• Dérive de l’approximation pour de larges ensembles de données de la KL divergence

71

AIC = −2ln P(Δ ˆ θ M) + 2k

Page 72: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

BIC

• avec – k le nombre de paramètres– n le nombre de données

• Dérive de l’approximation pour de larges ensembles de données de la Bayesian Model Selection

72

BIC = −2ln P(Δ ˆ θ M) + k ln(n)

Page 73: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

MDL

• avec– k le nombre de paramètres– n le nombre de données– I(θ) la matrice d’information de Fisher– |.| le déterminant de la matrice

73

MDL = −lnP(Δ ˆ θ M) +k

2ln(

n

2π) + ln I(θ)∫ dθ

Page 74: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

MDL

• Mesure de complexité qui prend en compte la forme fonctionnelle

• Provient de la théorie de l’information– Compression des données Δ par

modèle + déviation

74

MDL = −lnP(Δ ˆ θ M) +k

2ln(

n

2π) + ln I(θ)∫ dθ

Page 75: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

BMS

• • Vraisemblance

– P(Δ | θ M)

• Vraisemblance marginale– P(Δ | M) = Σθ P(Δ | θ M) P(θ | M)

75

BMS = −ln P(ΔθM)P(θ M)∫ dθ

Page 76: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Bayesian model selection

• Attention– BMS Bayesian model selection– BMS Bootstrap model selection

76

BMS = −ln P(ΔθM)P(θ M)∫ dθ

Page 77: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

77

Page 78: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

« vraie » Bayesian model selection

• Prior sur M uniforme ou pas• Prior sur les paramètres θ

uniformes ou pas

78

P(M Δ) =P(MΔ)

P(Δ)

P(M Δ)∝ P(MθΔ)θ

P(M Δ)∝ P(Δθ M)P(θ M)P(M)θ

Page 79: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Bayesian model selection • • Intégrale sur l’espace des paramètres

– MAP si on la fait– méthodes de Monte-Carlo (voire, méthode de

Gibbs (Mitchell 95)) si on tire aléatoirement dans θ pour approximer

• Gibbs sampling• Metropolis-Hastings• Random walk methods

– Approximation du log vraisemblance autour de• BMSL Bayesian Model Selection Laplace

approximation

79

P(M Δ)∝ P(Δθ M)P(θ M)P(M)∫ dθ

ˆ θ

Page 80: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Bayes Factor

• Extension du odds

• Ratio de vraisemblances marginales si prior uniforme sur M– P(M1) = P(M2)

80

P(M1 Δ)

P(M2 Δ)=

P(M1)

P(M2)

P(Δ M1)

P(Δ M2)

Page 81: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Bayesian Model Selection

– n’a pas la forme d’une fonctionnelle de Tikhonov

– et pourtant, mesure la complexité des M

81

BMS = −ln P(ΔθM)P(θ M)∫ dθ

Page 82: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

BMS et mesure de complexité

• « Occam automatique » : intuition

• Si • et P(Δ | θ) concentré autour de

– Alors P(θ2 | Δ) pénalisé par la normalisation sur Θ2 (espace plus grand)

82

P(M1 Δ)

P(M2 Δ)=

P(M1)

P(M2)

P(Δθ1M1)θ 1∫ P(θ1 M1)

P(Δθ2M2)θ 2

∫ P(θ2 M2)

1 ⊂Θ2

ˆ θ ∈ Θ1

Page 83: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

83

Page 84: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Distinguabilité des modèles

• Sélectionner un modèle, ok• Boucle expérimentale :

– où prendre la prochaine donnée expérimentale ?

– Notion philosophique d’expérience cruciale (discriminante)• Distinguer les modèles

84

Page 85: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Distinguabilité des modèles

• Modèle de distinguabilité en PBR– Extension du méta-modèle de fit

85

Page 86: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Question ouverte

• Deux problèmes inverses– Perception

• Phénomène = f -1 (stimuli)

– Modélisation• Modèle = f -1 (observations)

• Doit-on conclure que le cerveau construit des modèles comme un scientifique le fait ?

• Le cerveau est-il bayésien ?

86

Page 87: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Question ouverte

• Pourquoi 42 ?

87

Page 88: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Merci de votre attention !

Questions ?