93
Julien Diard — LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » — 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire de Psychologie et NeuroCognition – CNRS UE Cognition bayésienne 30/11/2009 http://diard.wordpress.com Julien.Diard@upmf- grenoble.fr

Comparaison et sélection Bayésienne de modèles

  • Upload
    varian

  • View
    52

  • Download
    0

Embed Size (px)

DESCRIPTION

Comparaison et sélection Bayésienne de modèles. Julien Diard Laboratoire de Psychologie et NeuroCognition – CNRS UE Cognition bayésienne 30/11/2009 http://diard.wordpress.com [email protected]. Plan. Modélisation : choix des variables Comparaison et sélection de modèles - PowerPoint PPT Presentation

Citation preview

Page 1: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Comparaison et sélection Bayésienne de modèles

Julien DiardLaboratoire de Psychologie et NeuroCognition – CNRS

UE Cognition bayésienne30/11/2009

http://diard.wordpress.com [email protected]

Page 2: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

2

Page 3: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

3

Page 4: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Importance des variables cachées

4

Page 5: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modélisation d’une série temporelle

t y delta_y dy seuillé81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0

5

Page 6: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

-1 7,00 0,290 6,00 0,251 11,00 0,46

t y delta_y dy seuillé81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0

P(y)

6

Page 7: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Variable cachée V1 = {Bleu, Rouge}

V1=R V1=B

7

Page 8: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

t y delta_y dy seuillé81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0

-1 2,00 0,140 4,00 0,291 8,00 0,57

P(y | [V1=R])

-1 5,00 0,500 2,00 0,201 3,00 0,30

P(y | [V1=B])

8

Page 9: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

V2 = {Bleu, Rouge}t y delta_y dy seuillé

81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0

[V1

=R

][V

1=

B]

P(y | [V1=R] [V2=R])

P(y | [V1=R] [V2=B])

P(y | [V1=B] [V2=R])

P(y | [V1=B] [V2=B])

9

Page 10: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Digression : entropie

• Déf :

• Exemple :

[Shannon, 1948]

10

Page 11: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

• Exemple 2 : P(X), X = {-1, 0, 1}

11

Page 12: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Variables cachées, connaissance et entropie

• Théorème :Les variables cachées apportent de l’information

P(y | [V1=B] [V2=B])P(y)

12

Page 13: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Prédiction de la prochaine valeur ?

P(y)

P(y | [V1=B] [V2=B])t y delta_y dy seuillé

81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0

13

Page 14: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Pour 2007, [V1=B] et [V2=B]

14

Page 15: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

15

Page 16: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Sources

16

Page 17: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Devinette n° 1

• Quel est le suivant ?– {1, 3, 5, 7, 9, 11, ?}– {1, 1, 2, 3, 5, 8, 13, ?}– {0, 4, 7, 6, 8, 2, 5, 8, 9, 3, ?}

17

Page 18: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Réponses

– {1, 3, 5, 7, 9, 11, ?} 42– {1, 1, 2, 3, 5, 8, 13, ?} 42– {0, 4, 7, 6, 8, 2, 5, 8, 9, 3, ?} 42

18

Page 19: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Devinette n° 2

• Combien de méthodes pour définir une relation mathématique ?

19

Page 20: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

• Combien de méthodes pour définir une relation mathématique ?

– Par fonction analytique f• E F• x | f(x)

– Par extension• Ensemble de points• (pas pratique pour un

ensemble infini)

20

Page 21: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Quelle méthode pour la devinette ?

• Passage de points à une fonction

• Utilisation de la fonction pour prédire le point suivant

≅ Modélisation

21

Page 22: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Précaution

• Toute l’activité scientifique n’est pas que la modélisation

– Modèle vs. Théorie– Modèle vs. Expérience

22

Page 23: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modélisation• Définition d’une classe de modèles• Sélection du modèle

– Qui maximise une mesure donnée

• Méthode très générale !– Machine learning

• Réseau de neurone• Algorithmes génétiques• Apprentissage bayésien

– Curve fitting– Optimisation– Regression

23

mod

élis

ati

on data set

set of models set of parameters

Page 24: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Mesures de qualité de modèles• Falsifiability

– Existe-t-il des observations incompatibles ?

• Explanatory adequacy– Make sense of the data but also of established findings

• Interpretability– Réifiabilité : les paramètres sont liés à d’autres processus

• Faithfulness– La qualité du modèle vient de sa structure, pas de

propriétés du calcul, de la simulation

• Goodness of fit• Complexity (or simplicity)• Generalizability

24

(Myung 03)

(Léna Soler, Introduction à l’épistémologie, Ellipses,

2000)

Page 25: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Mesures de qualité de fit

• Residual• Pourcentage de la variance

– Percent variance accounted for PVAF

• Root mean square deviation RMSD= root mean square error RMSE

25

Page 26: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Mesures de qualité de fit

• Correlation coefficient R2

– Pearson’s sample correlation coefficient– Simple correlation coefficient– Cross-correlation coefficient– Product-moment coefficient

• Formes multidimensionnelles– Matricielles– Multiple Correlation Coefficient R

26

Page 27: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Correlation coefficient

27

Page 28: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Correlation coefficient

• r = 0.816

• Explorer les données !

28

Page 29: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Fit vs complexity

• Fit to regularity– Intéressant à

modéliser

• Fit to experimental noise– Pas intéressant

29

Page 30: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Théorème

• Par n points passe un unique polynôme de degré n-1– n points (ou contraintes)– Polynôme degré n-1 a n paramètres

• f(x) = ax2 + bx + c

• Par deux points passe une unique droite• Par trois points passe une unique

parabole

30

Page 31: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Théorème

• Par n points passe un unique polynôme de degré n-1

• Idem– développement limité de Taylor– Transformée de Fourier

• avec assez de paramètres, on approxime tout

31

Page 32: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Fit vs complexity

32

Page 33: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Complexité d’un modèle = Nombre de paramètres + Forme

fonctionnelle

– M1 : y = sin(cos(ax))aexp(-bx)/xb

– M2 : y = axb

– M3 : y = ax + b

33

a=12b=1

Page 34: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Fonctionnelle de Tikhonov

• Mesure à minimiser– R(M, Δ) = GM(Δ) + λ H(M)

– GM(Δ) mesure de fit

– H(M) mesure de complexité (indépendante de Δ)

– λ : poids relatif• Compromis à résoudre : complexity

regularization (central en machine learning)

34

Page 35: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

35

Page 36: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Generalizability

36

Page 37: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Mesure de generalisation

– Mesure de la divergence moyenne (discrepancy) entre un modèle M et le vrai modèle MT

– Mesure de divergence entre distribution de probabilité D

– D(f,g) > D(f,f)=0 si f ≠ g

37

E D(M, MT )[ ] = D(P(Δ ˆ θ M),P(Δ MT ))P(Δ MT )dy∫

Page 38: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Mesure de generalisation

• Mesure de la divergence moyenne (discrepancy) entre un modèle M et le vrai modèle MT

• MT est évidemment inconnu

38

E D(M,MT )[ ] = D(P(Δ ˆ θ M),P(Δ MT ))P(Δ MT )dy∫

Page 39: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

39

Page 40: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Cross-validation (CV)

• Estimer la généralisation du modèle sans connaître le vrai modèle– Partitionner les données Δ– Identification de

paramètres sur la partie calibration

– Estimation de la capacité de généralisation sur la partie validation

40

Page 41: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Méthodes de CV• Split-sample, hold-out method• Split-half cross-validation

– Coupe en deux Δ = Δ1, Δ2

– Estime les paramètres sur Δ1

– Calcule l’erreur de prédiction sur Δ2 e1

– Intervertir Δ1, Δ2, recommencer e2

• Validation croisée

– Erreur de prédiction finale : moyenne des erreurs de prédiction (e1 + e2) / 2

41

Page 42: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Méthodes de CV

• Leave-one-out cross-validation– Découper en n-1 données pour

l’identification, et 1 donnée pour l’erreur de prédiction

– Répéter n fois– Erreur de prédiction moyenne sur les

n étapes

42

Page 43: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Méthodes de CV

• K-fold cross-validation– K blocs de taille n/K– Données pour l’identification : K-1

blocs (taille n-n/K)– Données pour la prédiction : 1 bloc

(taille n/K)– Idem leave-n/K-out– Choix de K change le résultat

43

Page 44: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Méthode de CV

• Bootstrapping– Tirage avec replacement

subsamples au lieu de subsets des données

– .632+ bootstrap method• 63,2 % de Δ pour l’identification

44

Page 45: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Critique de la CV

• Large training set overfitting• Small training set underfitting• Trouver le bon découpage

– même problème que trouver la bonne pondération dans la fonctionnelle de Tikhonov

• Rien résolu (mais facile à coder)

45

Page 46: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

46

Page 47: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Mesures de distances entre distributions de

probabilités• Déf : Une métrique est une

fonction g non-négative telle que– Inégalité triangulaire g(x,y)+g(y,z) ≥

g(x,z)– Symétrique g(x,y) = g(y,x)– g(x,x) = 0– g(x,y) = 0 => x = y

47

Page 48: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Mesures de distances entre distributions de

probabilités• Kullback-Leibler

– Distance / divergence de Kullback-Leibler

– KL divergence– Information gain– Relative entropy

• Cross entropy• Mutual information

48

Page 49: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

KL divergence

• Pas une mesure de distance– D(p,q) ≠ D(q,p)– D(p,q) > 0 pour tout p,q

– D(p,q) = 0 ssi pk = qk pour tout k

49

D( p,q) = DKL ( p q) = pk log2

pk

qkk

Page 50: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Cross entropy

• Entropie H(p), cross-entropie H(p,q)

• Relation avec la KL divergence

50

D( p,q) = H( p,q) = − pk logqk

k

DKL ( p q) = pk log2

pk

qkk

DKL ( p q) = H(p,q) − H(p)

Page 51: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Mutual information

• mesurée en bits• I(X,Y) = I(Y,X)• I(X,Y) ≥ 0•

51

I(X,Y ) = P(xy)log2

P(xy)

P(x)P(y)y∈Y

∑x∈X

I(X,Y ) = DKL (P(XY ) P(X)P(Y ))

Page 52: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

52

Page 53: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

En modélisation probabiliste

• Un modèle– Point expérimental δ = {x,y}– P(δ) = P(y | x) P(x)

– P(δ | θ1) = P(y | x θ1) P(x | θ1)

– P(δ | θ1 m1) = P(y | x θ1 m1) P(x | θ1 m1)

53

Page 54: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

En modélisation probabiliste

• Plusieurs modèles– Espace de paramètres Θ = {θ1, θ2, …}

– Classe des modèles M = {m1, m2, …}

– Un modèle : P(y | x [Θ = θ1] [M = m1])

• Méta-modèle, modèle hiérarchique– P(Δ Θ M)

= P(δi Θ M) = P(x y Θ M)

= P(y | x Θ M) P(x | Θ M) P(Θ | M) P(M)

54

Page 55: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Mesure de comparaison des modèles

• Probabilité d’un modèle m1, au vu de données expérimentales Δ – P(Δ Θ M)

= P(δi Θ M) = P(x y Θ M)

= P(y | x Θ M) P(x | Θ M) P(Θ | M) P(M)= P(δi | Θ M) P(Θ | M) P(M)

55

Page 56: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

56

• Soient– Un seul modèle M

– D = {d1, …, dn}, un ensemble de données expérimentales

un ensemble de paramètres de M

• Quel est le modèle le plus probable, au vu des données ?

P Θ | D( )∝ P Θ( )P D | Θ( )

∝ P Θ( ) P di | Θ( )i=1

n

(Règle de Bayes)

(Hyp i.i.d.)

Page 57: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

57

• Si P() = uniforme–

• Modèle de maximum de vraisemblance• Maximum Likelihood (MLE)

• Si P() uniforme– Modèle = prior vraisemblance

• Modèle de maximum a posteriori (MAP)• Modèle bayésien

P Θ | D( )∝ P Θ( ) P di | Θ( )i=1

n

Posterior Prior Vraisemblance

P Θ | D( )∝ P di | Θ( )i=1

n

Page 58: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Goodness of fit en probabilités

• Maximiser la vraisemblance P(Δ | Θ M)

• P(Δ | Θ M) = Πi P(δi | Θ M)

• max P(Δ | Θ M)= max log P(Δ | Θ M)= max log Πi P(δi | Θ M)

= max Σi log P(δi | Θ M)58

Page 59: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

59

Page 60: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

60

Tel monsieur Jourdain…

• Un phénomène génère des couples x,y• Un modèle

– prédit y = F(x), F linéaire, F = ax + b– autorise du « bruit » dans les mesures

• On observe D = {dx1, …, dxn}• Question

– Quels sont les paramètres a, b les plus probables ?

p(di Θ) =1

2πσexp −

(di − F(Θ))2

2σ 2

⎝ ⎜

⎠ ⎟

Page 61: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

61

Tel monsieur Jourdain…

P Θ | D( )∝ P Θ( ) P di | Θ( )i=1

n

p(di Θ) =1

2πσexp −

(di − F(Θ))2

2σ 2

⎝ ⎜

⎠ ⎟

Page 62: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

62

Tel monsieur Jourdain…

* = argmaxP Θ | D( )

= argmaxP Θ( )P D | Θ( )

= argmax P di | Θ( )i=1

n

= argmax log P di | Θ( )( )i=1

n

∑ ⎡

⎣ ⎢

⎦ ⎥

= argmin(di − F(Θ))2

2σ i2

i=1

n

∑ ⎡

⎣ ⎢

⎦ ⎥

= argmin (di − F(Θ))2

i=1

n

∑ ⎡

⎣ ⎢

⎦ ⎥

P Θ | D( )∝ P Θ( ) P di | Θ( )i=1

n

p(di Θ) =1

2π σexp −

(di − F(Θ))2

2σ 2

⎝ ⎜

⎠ ⎟

Page 63: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Moindre carrés de l’erreur

• Comme – un Réseau de Neurones &

Backpropagation• (Mitchell 95, p167)

– Une régression linéaire– …

63

Page 64: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

64

Least square fitting sur Mathworldhttp://mathworld.wolfram.com

Page 65: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

65

Pour aller plus loin…

• Inférence dans les cas non-linéaires

• Moindres carrés Bayésien

• Espace de modèles = {3x+2, 4x3-

2x2+4}

• Priors hiérarchiques– P( | )

• Rasoir d’Occam automatique…

P Θ( ) =1

2π σ Θ

exp −(Θ − μ Θ )2

2σ Θ2

⎝ ⎜

⎠ ⎟

* = arg max P Θ | D( )

= arg max P Θ( )P D | Θ( )

= arg max P Θ( ) P di | Θ( )i =1

n

= arg max log P Θ( )( ) + log P di | Θ( )( )i =1

n

∑ ⎡

⎣ ⎢

⎦ ⎥

= arg min(Θ − μ Θ )2

2σ Θ2 +

(di − F(Θ))2

2σ i2

i =1

n

∑ ⎡

⎣ ⎢

⎦ ⎥

= arg min(Θ − μ Θ )2

σ Θ2 +

(di − F(Θ))2

σ i2

i =1

n

∑ ⎡

⎣ ⎢

⎦ ⎥

Page 66: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

66

Page 67: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Odds, posterior odds, evidence

• Un modèle à 2 cas : – Une hypothèse H, et

67

P(H Δ) =P(H)P(Δ H)

P(Δ)

P(H Δ) =P(H )P(Δ H )

P(Δ)

P(H Δ)

P(H Δ)=

P(H)

P(H )

P(Δ H)

P(Δ H )

H

Page 68: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Odds, posterior odds, evidence

• Odds , log odds (stats)

• Posterior odds

• Odds en bijection avec p

68

O(H Δ) =P(H Δ)

P(H Δ)

O(H Δ) = O(H)P(Δ H)

P(Δ H )

Page 69: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

• Evidence

• Evidence en bijection avec p

69

Odds, posterior odds, evidence

e(H Δ) =10log10 O(H Δ)

e(H Δ) = e(H) +10log10

P(Δ H)

P(Δ H )

e(H Δ) = e(H) +10 log10

P(δ i H)

P(δi H )i

Page 70: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Odds, posterior odds, evidence

70

Page 71: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

71

Page 72: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Identification de paramètres vs Sélection de modèles

• Identification de paramètres learning– P(θ | Δ)– P(θ | Δ M)

• Sélection de modèle– P(M θ | Δ)– P(M | Δ)

72

Page 73: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Comparaison de modèles

• Basés sur la vraisemblance– AIC Akaike Information Criterion– BIC Bayesian Information Criterion– MDL Minimum Description Length

– BMS Bayesian Model Selection

73

Page 74: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

AIC

• avec k le nombre de paramètres

• Modèle M qui minimise la mesure AIC• Fonctionnelle de Tikhonov

– AIC = lack of fit + complexity

• Dérive de l’approximation pour de larges ensembles de données de la KL divergence

74

AIC = −2ln P(Δ ˆ θ M) + 2k

Page 75: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

BIC

• avec – k le nombre de paramètres– n le nombre de données

• Dérive de l’approximation pour de larges ensembles de données de la Bayesian Model Selection

75

BIC = −2ln P(Δ ˆ θ M) + k ln(n)

Page 76: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

MDL

• avec– k le nombre de paramètres– n le nombre de données– I(θ) la matrice d’information de Fisher

• Matrice des espérances des log des dérivées partielles de la vraisemblance selon les dimensions

– |.| le déterminant de la matrice

76

MDL = −lnP(Δ ˆ θ M) +k

2ln(

n

2π) + ln I(θ)∫ dθ

Page 77: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

MDL

• Mesure de complexité qui prend en compte la forme fonctionnelle

• Provient de la théorie de l’information– Compression des données Δ par

modèle + déviation

77

MDL = −lnP(Δ ˆ θ M) +k

2ln(

n

2π) + ln I(θ)∫ dθ

Page 78: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

BMS

• • Vraisemblance

– P(Δ | θ M)

• Vraisemblance marginale– P(Δ | M) = Σθ P(Δ | θ M) P(θ | M)

78

BMS = −ln P(ΔθM)P(θ M)∫ dθ

Page 79: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Bayesian model selection

• Attention– BMS Bayesian model selection– BMS Bootstrap model selection

79

BMS = −ln P(ΔθM)P(θ M)∫ dθ

Page 80: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• Questions ouvertes

80

Page 81: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

« vraie » Bayesian model selection

• Prior sur M uniforme ou pas• Prior sur les paramètres θ

uniformes ou pas

81

P(M Δ) =P(MΔ)

P(Δ)

P(M Δ)∝ P(MθΔ)θ

P(M Δ)∝ P(Δθ M)P(θ M)P(M)θ

Page 82: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Bayesian model selection • • Intégrale sur l’espace des paramètres

– MAP si on la fait– méthodes de Monte-Carlo (voire, méthode de

Gibbs (Mitchell 95)) si on tire aléatoirement dans θ pour approximer

• Gibbs sampling• Metropolis-Hastings• Random walk methods

– Approximation du log vraisemblance autour de• BMSL Bayesian Model Selection Laplace

approximation

82

P(M Δ)∝ P(Δθ M)P(θ M)P(M)∫ dθ

ˆ θ

Page 83: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Bayes Factor

• Extension du odds

• Ratio de vraisemblances marginales si prior uniforme sur M– P(M1) = P(M2)

83

P(M1 Δ)

P(M2 Δ)=

P(M1)

P(M2)

P(Δ M1)

P(Δ M2)

Page 84: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Bayesian Model Selection

– n’a pas la forme d’une fonctionnelle de Tikhonov

– et pourtant, mesure la complexité des M

84

BMS = −ln P(ΔθM)P(θ M)∫ dθ

Page 85: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

BMS et mesure de complexité

• « Occam automatique » : intuition

• Si • et P(Δ | θ) concentré autour de

– Alors P(θ2 | Δ) pénalisé par la normalisation sur Θ2 (espace plus grand)

85

P(M1 Δ)

P(M2 Δ)=

P(M1)

P(M2)

P(Δθ1M1)θ 1∫ P(θ1 M1)

P(Δθ2M2)θ 2

∫ P(θ2 M2)

1 ⊂Θ2

ˆ θ ∈ Θ1

Page 86: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Rasoir d’Occam automatique

86

MacKay, 03

Page 87: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation : choix des variables

• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités

• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles

• 3 Questions ouvertes

87

Page 88: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Distinguabilité des modèles

• Sélectionner un modèle, ok

• Boucle expérimentale – où prendre la

prochaine donnée expérimentale ?

– Notion d’expérience cruciale (discriminante)

• Distinguer les modèles

88

mod

élis

ati

on data set

set of models set of parameters

?

Page 89: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Distinguabilité des modèles

• Modèle de distinguabilité– Extension du méta-modèle de fit– P(Δ Θ M)

= P(y | x Θ M) P(x | Θ M) P(Θ | M) P(M)

89

Page 90: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Distinguabilité des modèles

90

Page 91: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Question ouverte

• Deux problèmes inverses– Perception

• Phénomène = f -1 (stimuli)

– Modélisation• Modèle = f -1 (observations)

• Doit-on conclure que le cerveau construit des modèles comme un scientifique le fait ?

• Le cerveau est-il bayésien ?

91

Page 92: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Question ouverte

• Pourquoi 42 ?

92

Page 93: Comparaison et sélection Bayésienne de modèles

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Merci de votre attention !

Questions ?