32
Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) [email protected]

Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) [email protected]

Embed Size (px)

Citation preview

Page 1: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Réseaux de neuroneset probabilités

Romain Brette

Projet ODYSSEE (INRIA/ENS)

[email protected]

Page 2: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Réseaux de neurones et probabilités

Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles

Modèles de neurones Quelques modèles simples Modèles stochastiques

Plasticité synaptique Un modèle simple Approche mathématique

Synchronisation neuronale

Page 3: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Le neurone

Les neurones communiquent par impulsions électriques (potentiels d’action).

Ils reçoivent des milliers d’impulsions par les dendrites et émettent des impulsions par l’axone.

Page 4: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Réseaux de neurones et probabilités

Questions de réseaux Quelle est la connectivité du cerveau? (« small-world »?) Implications fonctionnelles (épilepsie, oscillations)

Modèles de neurones Quelques modèles simples Modèles stochastiques

Plasticité synaptique Un modèle simple Approche mathématique

Synchronisation neuronale

Page 5: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Comment caractériser le graphe d’un réseau cortical? On n’a pas d’accès direct à ce graphe. Ce qu’on peut mesurer: géométrie du neurone (arbre dendritique)

Cellule de Purkinje(mesure expérimentale)

Cellule de Purkinje(description algorithmique)

Distribution spatiale des voisins

Ascoli et al (2001). Philos Trans R Soc Lond B Biol Sci 356, 1131-45.

Page 6: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Comment caractériser le graphe d’un réseau cortical? Hypothèse: positions des neurones = processus ponctuels

indépendants (ex. Poisson)

Morphologie dendritique → probabilité de connexion entre deux neurones (en fonction de la distance)

Quel type de réseau obtient-on? (small-world?)

Page 7: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Complications

Quelques difficultés: Il y a plusieurs types de neurones, avec des morphologies et des cibles

spécifiques Une région corticale est typiquement organisée en couches

Les positions des neurones ne sont pas indépendantes (e.g., on ne peut pas avoir deux neurones arbitrairement proches)

Densité des contacts synaptiques le long des branches?

Shepherd et al (2005). Nature Neurosci 8, 782-790

Page 8: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Réseaux de neurones et probabilités

Questions de réseaux Quelle est la connectivité du cerveau? (« small-world »?) Implications fonctionnelles (épilepsie, oscillations)

Modèles de neurones Quelques modèles simples Modèles stochastiques

Plasticité synaptique Un modèle simple Approche mathématique

Synchronisation neuronale

Page 9: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Quelles sont les implications de la géométrie du réseau?

Exemple 1: oscillations rapides dans un réseau aléatoire

N. Brunel (2000). J Physiol (Paris) 94, 445-463

Graphe aléatoire à connectivité faible (1-3%), neurones type « Intègre-et-Tire »

décharge irrégulière oscillation globale rapide

Qu’obtient-on avec un graphe plus réaliste?

Page 10: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Quelles sont les implications de la géométrie du réseau?

Exemple 2: comportement épileptique d’un réseau « small-world »

Netoff et al (2004). J Neurosci 24, 8075-8083

Le réseau a une dynamique de type « épileptique » (forte activité synchrone) quand la proportion de connexions longue-distance est élevée.

Résultats numériques uniquement

Page 11: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Réseaux de neurones et probabilités

Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles

Modèles de neurones Quelques modèles simples Modèles stochastiques

Plasticité synaptique Un modèle simple Approche mathématique

Synchronisation neuronale

Page 12: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Modèles de neurones

« Intègre-et-Tire »:

V(t-) = seuil → V(t+) = V0

Intégration synaptique: instantanée:

courant synaptique:

conductance synaptique:

poids synaptique

temps de la je impulsion du neurone i

potentiel « de réversion »

¿dVdt = ¡ V +RI (t)

I (t) =X

i ;j

wi ±(t ¡ tji )

I (t) =X

i ;j

wi G(t ¡ tji )

I (t) =X

i ;j

wi G(t ¡ tji )(E i ¡ V)

Page 13: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Formulation impulsionnelle

• V(t-) = seuil → V(t+) = V0

• impulsion du neurone i: V(t+)=V(t-) + wi

Modèle simple:

Modèle avec courant synaptique

• V(t-) = seuil → V(t+) = V0

• impulsion du neurone i: I(t+)=I(t-) + wi

¿dVdt = ¡ V

¿dVdt = ¡ V + I

¿sdIdt = ¡ I

G(t) = exp(¡ t=¿s)

Page 14: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Formulation impulsionnelle

• X1(t-) = seuil → X1 (t+) = X0

• impulsion du neurone i:

Formulation générale:

d~Xdt = f ( ~X )

d~Xdt = f ( ~X ) ~X (t+) = ~X (t¡ ) + ~wi

Page 15: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Réseaux de neurones et probabilités

Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles

Modèles de neurones Quelques modèles simples Modèles stochastiques

Plasticité synaptique Un modèle simple Approche mathématique

Synchronisation neuronale

Page 16: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Modèles stochastiques

Les entrées sont des impulsions aléatoires (e.g. Poisson)

X1 (t-) = seuil→ X1 (t+) = X0

Quelle est la distribution stationnaire de X? (Ergodicité?)

Quelle est la loi des impulsions émises?

d~Xdt = f ( ~X )

~X (t+) = ~X (t¡ ) + ~wi

Page 17: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Approche classique: Fokker-Planck

On suppose que les impulsions reçues sont très nombreuses: approximation de diffusion, ex.:

et V(t-) = seuil → V(t+) = V0

Equation de Fokker-Planck + conditions de bord:

dV = (¹ ¡ V)dt +¾dW

@p(V;t)@t = ¡ @((¹ ¡ V )p(V;t))

@V + 12

@2¾2p(V;t)@V 2

Solution stationnaire = gaussienne par morceaux

Difficile en dimension supérieure

Page 18: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Une approche par les systèmes dynamiques discrets

Soit (tn) les temps d’impulsions reçues.

On suppose par ex. wi = w et (tn) = processus de Poisson.

On définit

Suite (X(tn)) = orbite de X(t0)

(ou: Xn → Xn+1 processus markovien)

On cherche la mesure invariante pour X.

suite d’applications i.i.d.

' n : ~X (tn) 7! ~X (tn+1)

Page 19: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Réseaux de neurones et probabilités

Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles

Modèles de neurones Quelques modèles simples Modèles stochastiques

Plasticité synaptique Un modèle simple Approche mathématique

Synchronisation neuronale

Page 20: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Plasticité synaptique

| | | | || | | |

|| | | | | || | | |w

Le poids synaptique évolue en fonction de l’activité présynaptique et postsynaptique

présynaptique

postsynaptique

LTP(dw>0)

LTD(dw<0)

Impulsion présynaptique avant postsynaptique: dw>0 Impulsion présynaptique avant postsynaptique: dw<0

tpre-tpost

Page 21: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Dynamique des poids synaptiques

| | | | || | | |

|| | | | | || | | |

| | | || || |

|| | | | | || | | |

w1

w2

w3

w1000

Song & Abbott (2001) Neuron 32, 339-350

Entrées poissonniennes indépendantes:

Les poids évoluent vers une distribution bimodale concentrée sur les valeurs limitantes ([0,wmax])

Page 22: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Un modèle simple

Intègre-et-Tire + LTP/LTD Formulation impulsionnelle:

dVdt = ¡ V

¿L T Pdui

dt = ¡ ui 8i 2 f1;:: : ;ng

¿L T Ddrdt = ¡ r

impulsion présynaptique (de l’entrée i):

impulsion postsynaptique (V>seuil):

ui ! ui +® (®> 0)

wi ! min(wi + ui ;wmax)

V ! V0

r ! r +¯ (¯ < 0)

8i;wi ! max(wi +r;0)

Page 23: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Réseaux de neurones et probabilités

Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles

Modèles de neurones Quelques modèles simples Modèles stochastiques

Plasticité synaptique Un modèle simple Approche mathématique

Synchronisation neuronale

Page 24: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Approche mathématique

Système impulsionnel à n+2 variables

si X 1 = seuil :~X ! g( ~X )

i~X ! ~X +f (wi ; ~X )

On définit:

suite d’applications i.i.d.

Implicitement, dépend de l’étiquette i de l’impulsion en tn (uniformément distribuée) et de l’intervalle (tn+1-tn) (exponentiellement distribué)

' n

' n : ( ~X ; ~w)(tn) 7! ( ~X ; ~w)(tn+1)

d ~Xdt = A ~X

Page 25: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Questions associées

Distributions marginales stationnaires des wi

Ergodicité

Limite

Plus loin: autres lois de plasticité (ex. dw est proportionnel à w) entrées corrélées / impulsions non poissonniennes

n ! +1 et ®;¯ ¼1=n

Page 26: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Réseaux de neurones et probabilités

Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles

Modèles de neurones Quelques modèles simples Modèles stochastiques

Plasticité synaptique Un modèle simple Approche mathématique

Synchronisation neuronale

Page 27: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Qu’est-ce que la synchronisation neuronale?

pas une synchronisation exacte

individuellement, les trains d’impulsions ressemblent à des réalisations de processus de Poisson

La fonction de corrélation entre deux trains peut ressembler par ex. à ceci:

N. Brunel (2000). J Physiol (Paris) 94, 445-463

-20 -10 0 10 200

Page 28: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Comment générer des trains corrélés?

Comment générer n trains d’impulsions tels que:

individuellement, chaque train d’impulsions est poissonnien (intensité donnée)

la distribution jointe est invariante par permutation

la fonction de corrélation entre deux trainsest donnée

Le problème est-il bien défini?(en particulier: quelles contraintes sur la fonction de corrélation?)

-20 -10 0 10 200

Page 29: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Une idée utilisant des processus stochastiques

On considère (n+1) mouvements browniens indépendants W0(t) … Wn(t).

On définit n processus d’Ornstein-Ulhenbeck avec seuil (= Intègre-et-Tire + bruit):

Propriétés: distribution jointe invariante par permutation impulsions émises « presque poissonniennes » pour petit degré de corrélation réglé par (α,β)

β =0: synchronisation parfaite α =0: trains d’impulsions indépendants

(impulsion émise)

¿dVi = ¡ Vi dt +®dW0 + ¯dWi

Vi = 1 ! Vi = 0

Page 30: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Une idée plus générique

On considère un processus stochastique x(t) d’autocorrélation donnée (ex. Ornstein-Ulhenbeck)

On génère n trains d’impulsions comme des réalisations d’un processus de Poisson inhomogène d’intensité x(t).

Propriétés: distribution jointe invariante par permutation corrélation par paire correcte (?) quelle est la loi des trains d’impulsions individuels? que faire si x(t)<0 ?

-20 -10 0 10 200

x(t)

Page 31: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Quel processus régit l’entrée synaptique totale?

On considère n trains d’impulsions convergeant sur un neurone

| | | | || | | |

|| | | | | || | | |

| | | || || |

|| | | | | || | | |

g(t) =X

i ;j

G(t ¡ tji )

neurone iimpulsion j

G(s) = £(s) exp(¡ s=¿s)ex.:

Trains poissonniens indépendants → « shot noise » limite n → (ici): g(t) = Ornstein-Ulhenbeck

Trains corrélés → ? union des trains = Hawkes?

Page 32: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Réseaux de neurones et probabilités

Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles

Modèles de neurones Quelques modèles simples Modèles stochastiques

Plasticité synaptique Un modèle simple Approche mathématique

Synchronisation neuronale