Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr

Réseaux de neuroneset probabilités

Romain Brette

Projet ODYSSEE (INRIA/ENS)

brette@di.ens.fr

Réseaux de neurones et probabilités

Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles

Modèles de neurones Quelques modèles simples Modèles stochastiques

Plasticité synaptique Un modèle simple Approche mathématique

Synchronisation neuronale

Le neurone

Les neurones communiquent par impulsions électriques (potentiels d’action).

Ils reçoivent des milliers d’impulsions par les dendrites et émettent des impulsions par l’axone.

Réseaux de neurones et probabilités

Questions de réseaux Quelle est la connectivité du cerveau? (« small-world »?) Implications fonctionnelles (épilepsie, oscillations)

Modèles de neurones Quelques modèles simples Modèles stochastiques

Plasticité synaptique Un modèle simple Approche mathématique

Synchronisation neuronale

Comment caractériser le graphe d’un réseau cortical? On n’a pas d’accès direct à ce graphe. Ce qu’on peut mesurer: géométrie du neurone (arbre dendritique)

Cellule de Purkinje(mesure expérimentale)

Cellule de Purkinje(description algorithmique)

Distribution spatiale des voisins

Ascoli et al (2001). Philos Trans R Soc Lond B Biol Sci 356, 1131-45.

Comment caractériser le graphe d’un réseau cortical? Hypothèse: positions des neurones = processus ponctuels

indépendants (ex. Poisson)

Morphologie dendritique → probabilité de connexion entre deux neurones (en fonction de la distance)

Quel type de réseau obtient-on? (small-world?)

Complications

Quelques difficultés: Il y a plusieurs types de neurones, avec des morphologies et des cibles

spécifiques Une région corticale est typiquement organisée en couches

Les positions des neurones ne sont pas indépendantes (e.g., on ne peut pas avoir deux neurones arbitrairement proches)

Densité des contacts synaptiques le long des branches?

Shepherd et al (2005). Nature Neurosci 8, 782-790

Réseaux de neurones et probabilités

Questions de réseaux Quelle est la connectivité du cerveau? (« small-world »?) Implications fonctionnelles (épilepsie, oscillations)

Modèles de neurones Quelques modèles simples Modèles stochastiques

Plasticité synaptique Un modèle simple Approche mathématique

Synchronisation neuronale

Quelles sont les implications de la géométrie du réseau?

Exemple 1: oscillations rapides dans un réseau aléatoire

N. Brunel (2000). J Physiol (Paris) 94, 445-463

Graphe aléatoire à connectivité faible (1-3%), neurones type « Intègre-et-Tire »

décharge irrégulière oscillation globale rapide

Qu’obtient-on avec un graphe plus réaliste?

Quelles sont les implications de la géométrie du réseau?

Exemple 2: comportement épileptique d’un réseau « small-world »

Netoff et al (2004). J Neurosci 24, 8075-8083

Le réseau a une dynamique de type « épileptique » (forte activité synchrone) quand la proportion de connexions longue-distance est élevée.

Résultats numériques uniquement

Réseaux de neurones et probabilités

Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles

Modèles de neurones Quelques modèles simples Modèles stochastiques

Plasticité synaptique Un modèle simple Approche mathématique

Synchronisation neuronale

Modèles de neurones

« Intègre-et-Tire »:

V(t-) = seuil → V(t+) = V0

Intégration synaptique: instantanée:

courant synaptique:

conductance synaptique:

poids synaptique

temps de la je impulsion du neurone i

potentiel « de réversion »

¿dVdt = ¡ V +RI (t)

I (t) =X

i ;j

wi ±(t ¡ tji )

I (t) =X

i ;j

wi G(t ¡ tji )

I (t) =X

i ;j

wi G(t ¡ tji )(E i ¡ V)

Formulation impulsionnelle

• V(t-) = seuil → V(t+) = V0

• impulsion du neurone i: V(t+)=V(t-) + wi

Modèle simple:

Modèle avec courant synaptique

• V(t-) = seuil → V(t+) = V0

• impulsion du neurone i: I(t+)=I(t-) + wi

¿dVdt = ¡ V

¿dVdt = ¡ V + I

¿sdIdt = ¡ I

G(t) = exp(¡ t=¿s)

Formulation impulsionnelle

• X1(t-) = seuil → X1 (t+) = X0

• impulsion du neurone i:

Formulation générale:

d~Xdt = f ( ~X )

d~Xdt = f ( ~X ) ~X (t+) = ~X (t¡ ) + ~wi

Réseaux de neurones et probabilités

Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles

Modèles de neurones Quelques modèles simples Modèles stochastiques

Plasticité synaptique Un modèle simple Approche mathématique

Synchronisation neuronale

Modèles stochastiques

Les entrées sont des impulsions aléatoires (e.g. Poisson)

X1 (t-) = seuil→ X1 (t+) = X0

Quelle est la distribution stationnaire de X? (Ergodicité?)

Quelle est la loi des impulsions émises?

d~Xdt = f ( ~X )

~X (t+) = ~X (t¡ ) + ~wi

Approche classique: Fokker-Planck

On suppose que les impulsions reçues sont très nombreuses: approximation de diffusion, ex.:

et V(t-) = seuil → V(t+) = V0

Equation de Fokker-Planck + conditions de bord:

dV = (¹ ¡ V)dt +¾dW

@p(V;t)@t = ¡ @((¹ ¡ V )p(V;t))

@V + 12

@2¾2p(V;t)@V 2

Solution stationnaire = gaussienne par morceaux

Difficile en dimension supérieure

Une approche par les systèmes dynamiques discrets

Soit (tn) les temps d’impulsions reçues.

On suppose par ex. wi = w et (tn) = processus de Poisson.

On définit

Suite (X(tn)) = orbite de X(t0)

(ou: Xn → Xn+1 processus markovien)

On cherche la mesure invariante pour X.

suite d’applications i.i.d.

' n : ~X (tn) 7! ~X (tn+1)

Réseaux de neurones et probabilités

Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles

Modèles de neurones Quelques modèles simples Modèles stochastiques

Plasticité synaptique Un modèle simple Approche mathématique

Synchronisation neuronale

Plasticité synaptique

| | | | || | | |

|| | | | | || | | |w

Le poids synaptique évolue en fonction de l’activité présynaptique et postsynaptique

présynaptique

postsynaptique

LTP(dw>0)

LTD(dw<0)

Impulsion présynaptique avant postsynaptique: dw>0 Impulsion présynaptique avant postsynaptique: dw<0

tpre-tpost

Dynamique des poids synaptiques

| | | | || | | |

|| | | | | || | | |

| | | || || |

…

|| | | | | || | | |

w1

w2

w3

w1000

Song & Abbott (2001) Neuron 32, 339-350

Entrées poissonniennes indépendantes:

Les poids évoluent vers une distribution bimodale concentrée sur les valeurs limitantes ([0,wmax])

Un modèle simple

Intègre-et-Tire + LTP/LTD Formulation impulsionnelle:

dVdt = ¡ V

¿L T Pdui

dt = ¡ ui 8i 2 f1;:: : ;ng

¿L T Ddrdt = ¡ r

impulsion présynaptique (de l’entrée i):

impulsion postsynaptique (V>seuil):

ui ! ui +® (®> 0)

wi ! min(wi + ui ;wmax)

V ! V0

r ! r +¯ (¯ < 0)

8i;wi ! max(wi +r;0)

Réseaux de neurones et probabilités

Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles

Modèles de neurones Quelques modèles simples Modèles stochastiques

Plasticité synaptique Un modèle simple Approche mathématique

Synchronisation neuronale

Approche mathématique

Système impulsionnel à n+2 variables

si X 1 = seuil :~X ! g( ~X )

i~X ! ~X +f (wi ; ~X )

On définit:

suite d’applications i.i.d.

Implicitement, dépend de l’étiquette i de l’impulsion en tn (uniformément distribuée) et de l’intervalle (tn+1-tn) (exponentiellement distribué)

' n

' n : ( ~X ; ~w)(tn) 7! ( ~X ; ~w)(tn+1)

d ~Xdt = A ~X

Questions associées

Distributions marginales stationnaires des wi

Ergodicité

Limite

Plus loin: autres lois de plasticité (ex. dw est proportionnel à w) entrées corrélées / impulsions non poissonniennes

n ! +1 et ®;¯ ¼1=n

Réseaux de neurones et probabilités

Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles

Modèles de neurones Quelques modèles simples Modèles stochastiques

Plasticité synaptique Un modèle simple Approche mathématique

Synchronisation neuronale

Qu’est-ce que la synchronisation neuronale?

pas une synchronisation exacte

individuellement, les trains d’impulsions ressemblent à des réalisations de processus de Poisson

La fonction de corrélation entre deux trains peut ressembler par ex. à ceci:

N. Brunel (2000). J Physiol (Paris) 94, 445-463

-20 -10 0 10 200

Comment générer des trains corrélés?

Comment générer n trains d’impulsions tels que:

individuellement, chaque train d’impulsions est poissonnien (intensité donnée)

la distribution jointe est invariante par permutation

la fonction de corrélation entre deux trainsest donnée

Le problème est-il bien défini?(en particulier: quelles contraintes sur la fonction de corrélation?)

-20 -10 0 10 200

Une idée utilisant des processus stochastiques

On considère (n+1) mouvements browniens indépendants W0(t) … Wn(t).

On définit n processus d’Ornstein-Ulhenbeck avec seuil (= Intègre-et-Tire + bruit):

Propriétés: distribution jointe invariante par permutation impulsions émises « presque poissonniennes » pour petit degré de corrélation réglé par (α,β)

β =0: synchronisation parfaite α =0: trains d’impulsions indépendants

(impulsion émise)

¿dVi = ¡ Vi dt +®dW0 + ¯dWi

Vi = 1 ! Vi = 0

Une idée plus générique

On considère un processus stochastique x(t) d’autocorrélation donnée (ex. Ornstein-Ulhenbeck)

On génère n trains d’impulsions comme des réalisations d’un processus de Poisson inhomogène d’intensité x(t).

Propriétés: distribution jointe invariante par permutation corrélation par paire correcte (?) quelle est la loi des trains d’impulsions individuels? que faire si x(t)<0 ?

-20 -10 0 10 200

x(t)

Quel processus régit l’entrée synaptique totale?

On considère n trains d’impulsions convergeant sur un neurone

| | | | || | | |

|| | | | | || | | |

| | | || || |

…

|| | | | | || | | |

g(t) =X

i ;j

G(t ¡ tji )

neurone iimpulsion j

G(s) = £(s) exp(¡ s=¿s)ex.:

Trains poissonniens indépendants → « shot noise » limite n → (ici): g(t) = Ornstein-Ulhenbeck

Trains corrélés → ? union des trains = Hawkes?

Réseaux de neurones et probabilités

Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles

Modèles de neurones Quelques modèles simples Modèles stochastiques

Plasticité synaptique Un modèle simple Approche mathématique

Synchronisation neuronale