Réseaux de neurones - Master Sciences Cognitives - 2005
1
Réseaux de neurones formels
Christian JuttenLab. des Images et des Signaux
(LIS)UMR 5083 Centre National de la Recherche Scientifique,
Institut National Polytechnique de Grenoble,Université Joseph Fourier
Grenoble
Réseaux de neurones - Master Sciences Cognitives - 2005
2
Contenu
• I. Introduction • II. Quelques flashs de neurobiologie• III. Modèles mathématiques• IV. Coopération et compétition• V. Mémoires associatives linéaires• VI. Perceptrons multi-couches• VII. Modèles de Hopfield• VIII. Cartes auto-organisatrices de Kohonen• IX. Séparation de sources• X. Présentation du BE et des mini-projets
Réseaux de neurones - Master Sciences Cognitives - 2005
3
Chapitre 4
Coopération et compétition
Réseaux de neurones - Master Sciences Cognitives - 2005
4
Coopération et compétition : introduction
• Réseaux à connexions locales• Connexions excitatrices et inhibitrices • Connexions fixes : pas d’apprentissage• Principe : algorithme codé dans le réseau• Deux exemples :
– filtrage spatial non linéaire,– résolution de problèmes d’optimisation
Réseaux de neurones - Master Sciences Cognitives - 2005
5
Coopération et compétition : filtragespatial non linéaire (1D)
• Réseaux à inhibitions latérales récurrentes
u
N(u)
x(n)
y(n)
α(i)
β(i)
excitation
inhibition
[ ])(*)()(*)()( nnynnxNny βα −=
Réseaux de neurones - Master Sciences Cognitives - 2005
6
Coopération et compétition : filtragespatial non linéaire (1D)
• Convolution : notation *, α et β noyaux de convolution
• Convolution = filtrage– quelques exemples
)()()(*)(
)()()(*)(
iinynny
iinxnnx
b
bi
a
ai
ββ
αα
∑
∑+
−=
+
−=
−=
−=x(n)
y(n)
α(i)
β(i)
excitation
inhibition
4/)1(2/)(4/)1()(*)(3/)1(3/)(3/)1()(*)(
)1()1()0()()1()1()(*)(
+++−=+++−=
−+++−=
nxnxnxnnxnxnxnxnnx
nxnxnxnnx
αα
αααα
Réseaux de neurones - Master Sciences Cognitives - 2005
7
Coopération et compétition : filtragespatial non linéaire (1D)
• Réponse à un créneau constant
n
x(n)
n
x(n)
x(n)
y(n)
α(i)
β(i)
excitation
inhibition
A = 0.5
A = 0.8
Réseaux de neurones - Master Sciences Cognitives - 2005
8
Coopération et compétition : filtragespatial non linéaire (1D)
• Réponse à un créneau constant, avec un grand gain (A>2)
n
x(n)
n
y(n)
n
x(n)
n
y(n)
n
x(n)
n
y(n)
n
x(n)
y(n)
n
Réseaux de neurones - Master Sciences Cognitives - 2005
9
Coopération et compétition : filtragespatial non linéaire (2D)
• Réseau 2-D
entrées neurones sorties
u
N(u)
Réseaux de neurones - Master Sciences Cognitives - 2005
10
Coopération et compétition : filtragespatial non linéaire (2D)
• Réponse à une entrée de type « pavé »
A = 5 A = 20
A = 0.5
A = 10
Réseaux de neurones - Master Sciences Cognitives - 2005
11
Coopération et compétition : filtragespatial non linéaire (2D)
• Réponse à image de caractères alpha-numériques
Réseaux de neurones - Master Sciences Cognitives - 2005
12
Coopération et compétition : filtragespatial non linéaire (2D)
• Réponse à une image bruitée
x(n)
y(n)
α(i)
β(i)
excitation
inhibition
Réseaux de neurones - Master Sciences Cognitives - 2005
13
Coopération et compétition : résolution de problèmes d’optimisation
• Codage du problème : réseau partagé en groupes– inhibitions mutuelles intra-groupe– excitations sélectives inter-groupe
• Equation d’évolution des sorties des neurones
nippTxppxppdt
dpiiiei
i ,,1),()()( reposminmax L=−−−−−=
reposau retour de tempsde constante : esinhibitric entrées des somme : esexcitatric entrées des somme :
minreposmax
Txx
ppp
i
e
<<
Réseaux de neurones - Master Sciences Cognitives - 2005
14
Coopération et compétition : résolution de problèmes d’optimisation
• Variations du potentiel d’un neurone
• Système de n équations différentielles couplées– sous certaines conditions (supposées satisfaites), le
système possède des états d’équilibre stable• 2 exemples d ’applications : base de données, coloriage
d’un graphe
nippTxppxppdt
dpiiiei
i ,,1),()()( reposminmax L=−−−−−=
t
p(t)pmax
xe croissant
tp(t)
pmin
xi croissant
Réseaux de neurones - Master Sciences Cognitives - 2005
15
Coopération et compétition : base dedonnées
• Codage neuronal de la BD • La base de données :– 5 enregistrements– 5 champs
David Dupont BAC 40ans CélAnne Dupont SUP 30ans MarPierre Durand BEP 40ans MarCélia Durand BAC 30ans MarPaul Durand BAC 20ans Cél
basePrénom
Situation
Nom
Age
Etudes
Réseaux de neurones - Master Sciences Cognitives - 2005
16
Coopération et compétition : base dedonnées
David Dupont BAC 40ans CélAnne Dupont SUP 30ans MarPierre Durand BEP 40ans MarCélia Durand BAC 30ans MarPaul Durand BAC 20ans Cél
basePrénom
Situation
Nom
Age
Etudes
Rappel par enregistrement
Réseaux de neurones - Master Sciences Cognitives - 2005
17
Coopération et compétition : base dedonnées
David Dupont BAC 40ans CélAnne Dupont SUP 30ans MarPierre Durand BEP 40ans MarCélia Durand BAC 30ans MarPaul Durand BAC 20ans Cél
Rappel par forçage de BAC
basePrénom
Situation
Nom
Age
Etudes
Réseaux de neurones - Master Sciences Cognitives - 2005
18
Coopération et compétition : coloriage d’une carte
• Règles– Deux régions contiguës ont
des couleurs différentes– Quatre couleurs suffisent
• Codage par réseau– Une région représentée par
un groupe– Un groupe contient 4
neurones– 1 neurone est associé à 1
couleur
Réseaux de neurones - Master Sciences Cognitives - 2005
19
Coopération et compétition : coloriage d’une carte
• Codage par réseau– Une région représentée par un
groupe– Un groupe contient 4 neurones– 1 neurone est associé à 1 couleur
• Connexions– inhibitrices intra-groupe : une
région a une couleur pure (pas un mélange)
– sélectives (voisins) inter-groupe :• excitatrices entre cellules de
couleurs différentes• inhibitrices entre cellules de
même couleur
Océan
Bordeaux
Toulouse
Océan voisin de BoirdeauxBordeaux voisn de ToulouseOcéan pas voisin de Toulouse
Réseaux de neurones - Master Sciences Cognitives - 2005
20
Coopération et compétition
• Les réseaux sans apprentissage présentent des propriétés intéressantes :– La non-linéarité entraîne des résultats performants– Les connexions permettent de gérer de façon implicite
des contraintes complexes– Le principe consiste à coder le problème dans une
architecture de réseau– La stabilité du réseau requiert des conditions
particulières, sinon risque de minima locaux
Réseaux de neurones - Master Sciences Cognitives - 2005
21
Contenu
• I. Introduction • II. Quelques flashs de neurobiologie• III. Modèles mathématiques• IV. Coopération et compétition• V. Mémoires associatives linéaires• VI. Perceptrons multi-couches• VII. Modèles de Hopfield• VIII. Cartes auto-organisatrices de Kohonen• IX. Séparation de sources• X. Présentation du BE et des mini-projets
Réseaux de neurones - Master Sciences Cognitives - 2005
22
Chapitre 5
Mémoire associative linéaire
Réseaux de neurones - Master Sciences Cognitives - 2005
23
Mémoire associative linéaire :principes
• Réseau :– connexions totales directes, et adaptables (apprentissage)– neurone à caractéristique linéaire ou booléenne
• Deux représentations équivalentes
x1
x2 y2
y1
xp
y3
yn
y2
y1
y3
yn
x1 x2 xp
w11 w12 w1p
w32
wnpwn2wn1
w21 w22 w2p
WXY =
=∑=
p
jjiji xwy
1
Réseaux de neurones - Master Sciences Cognitives - 2005
24
Règles de calcul matriciel
• Produit matrice-vecteur, – si le nombre colonne de W = dim X
• Produit scalaire : somme des produit termes à termes– vecteurs de même dimension– ressemblance entre vecteurs,– si vecteurs normés : cos(U,V)
WXY =
=∑=
p
jjiji xwy
1
∑=
=
+++=
=⋅
n
iii
nn
T
vu
vuvuvu
1
2211 L
rrUVVU
i
X
=
Y
Réseaux de neurones - Master Sciences Cognitives - 2005
25
Mémoire associative linéaire :apprentissage
• Objectif : mémoriser N associations (Xk, Yk)• Apprentissage : à chaque association k
• A la fin de l’apprentissage, W vaut :
• Remarques– c’est la somme des matrices d ’inter-
corrélations des N associations– chaque poids est un mélange des
N associations– chaque association est distribuée sur tous les poids du réseau
kj
kiijij xykwkw +=+ )()1(
∑∑==
==N
k
TkkN
k
kj
kiij xyw
11
)( :soit XYWy2
y1
yn
x1 x2 xp
w11 w12 w1p
w32
wnpwn2wn1
w21 w22 w2p
y3
Réseaux de neurones - Master Sciences Cognitives - 2005
26
Mémoire associative linéaire : rappel
• Objectif : retrouver Yk en sortie de la mémoire en présentant Xk
• Les poids sont fixés. Si on présente Xr
• Si les vecteurs Xk sont orthonormés, c-à-d
( )∑
∑
=
=
=
==
N
k
rTkk
rN
k
Tkkr
1
1
)(
)(
XXY
XXYXWYy2
y1
yn
x1 x2 xp
w11 w12 w1p
w32
wnpwn2wn1
w21 w22 w2p
y3
( ) ( )r
rTrrN
k
rTkk
Y
XXYXXYY
=
==∑=
)()(1
kllTk δ=XX )(
Réseaux de neurones - Master Sciences Cognitives - 2005
27
Mémoire associative linéaire : rappel
• Objectif : retrouver Yk en sortie de la mémoire en présentant X= Xk + b, où b est un bruit supposé décorrélé des Xk :
• Le rappel donne donc Yk perturbé parles autres sorties apprises Yj pondérées par les coefficients
( )
( )∑
∑
∑
≠
=
=
+=
+=
+
=
kj
Tjjk
N
k
kTkk
kN
k
Tkk
bXYY
bXXY
bXXYY
)(
)()(
)()(
1
1
y2
y1
yn
x1 x2 xp
w11 w12 w1p
w32
wnpwn2wn1
w21 w22 w2p
y3
bX Tj )(
Réseaux de neurones - Master Sciences Cognitives - 2005
28
Mémoire associative linéaire : rappel
• A partir de la relation :
on remarque que la qualité du rappel :– augmente si le bruit est décorrélé des « patterns »,– diminue avec la puissance du bruit,– diminue avec le nombre d’associations à mémoriser.
• On distingue trois types de mémoires associatives :– les mémoires auto-associatives : X et Y sont de même nature, et la
mémoire permet de restaurer des données incomplètes ou bruitées,– les mémoires hétéro-associatives : X et Y sont de nature différentes, par
exemple à un caractère X on associe son code ASCII, – les classifieurs, qui sont des mémoires hétéro-associatives particulières : Y
est la classe de X.
( )∑≠
+=kj
Tjjk bXYYY )(
Réseaux de neurones - Master Sciences Cognitives - 2005
29
Mémoire associative linéaire : exemple
• Mémoire auto-associative
« Patterns » Clés Sorties pourN = 120
Sorties pourN = 500
Réseaux de neurones - Master Sciences Cognitives - 2005
30
Mémoire associative linéaire : exemple
• Classifieur
Classe 0
Classe 1
Classe 2
Classe 3
Réseaux de neurones - Master Sciences Cognitives - 2005
31
Mémoire associative linéaire : robustesse ?
• Propriété de rappel de données incomplètes ou bruitée étonnante !
• Robustesse ?– Peu tolérant aux
transformations géométriques– mesure de ressemblance =
produit scalaire ou cos– Exemple : images translatées
d ’un pixel ne se ressemblent pas
29.0.cos −==t
t
XXXXθ
Réseaux de neurones - Master Sciences Cognitives - 2005
32
Mémoire associative linéaire : coût ?
• Coût en mémoireMémoire de N images de n = 106 pixels avec 1 pixel = 1 octetMémoire classique :
pour N images : N x 106 octetsMémoire associative :
1 image : matrice de n x n = 106 x106 octetsN images : idem !N < 15% nbre pixels = 15 104 images, sinon rappel catastrophique !
Rapport complexité, optimal pour Nmax :(Compl. MA)/(Compl. MC) > 7
• 106 adressages remplacés par 106 x106 sommes de produits
Réseaux de neurones - Master Sciences Cognitives - 2005
33
Mémoire associative linéaire : robustesse ?
• Hypothèse d’orthonormalité ?– En général, elle est fausse
• Pré-traitement pour augmenter l’orthogonalité– opérateur Laplacien (Kohonen)
)1()(2)1()(~ +−+−−= iXiXiXiX Vecteurs initiaux
Vecteurs aprèsprétraitement
Réseaux de neurones - Master Sciences Cognitives - 2005
34
Mémoire associative linéaire : robustesse ?
• Pré-traitement pour augmenter l’orthogonalité– opérateur Laplacien (Kohonen)
Avant prétraitement
98.0cos21
21 =⋅
=XXXXθ
03.0~~~~
cos21
21 −=⋅
=XXXXθ
Après prétraitement
Réseaux de neurones - Master Sciences Cognitives - 2005
35
Mémoire associative linéaire : amélioration
• MA optimale au sens des Moindres Carrés (Kohonen, Oja)– En réponse à X, on obtient une estimation
– On cherche B qui minimise l ’erreur quadratique
• On montre que la solution est égale à :
où MX et MY sont les matrices de taille pxN et nxN formées par l’ensemble des N associations apprises.
BYWXY +==ˆ
222ˆ BYWXYY =−=−
+= MYMXW .
Réseaux de neurones - Master Sciences Cognitives - 2005
36
Mémoire associative linéaire : limitation
• Réseaux à une couche : limités à des problèmes linéairement séparables
• Le problème XOR :– X1 et X2 sont 2 variables booléennes, on veut calculer (apprendre)
Y, tel que : 21 XXY ⊕=
θ
X1
X2
Y = signe(w1 X1 + w2 X2 - θ) 0
01
1 X1
X2
w1
w2
Y=-1Y=+1
Réseaux de neurones - Master Sciences Cognitives - 2005
37
Au-delà de la mémoire associative linéaire
• Avec une couche cachée
• Le problème devient linéairement séparable dans l’espace 3-D : X1, X2, X1 AND X2
• Pour un ^problème complexe : Combien de couches ? Combien de neurones ? Calcul des poids ?
1.5
X1
X2
0
0
1
1
X1
X2
0.5
0.5
0.5
1
11
111
-2
X1 AND X2
Réseaux de neurones - Master Sciences Cognitives - 2005
38
Vers les MLP : Influence des couches
• Exemple de classification avec des données 2-D
1 couche 2 couches 3 couches
Réseaux de neurones - Master Sciences Cognitives - 2005
39
Contenu
• I. Introduction • II. Quelques flashs de neurobiologie• III. Modèles mathématiques• IV. Coopération et compétition• V. Mémoires associatives linéaires• VI. Perceptrons multi-couches• VII. Modèles de Hopfield• VIII. Cartes auto-organisatrices de Kohonen• IX. Séparation de sources• X. Présentation du BE et des mini-projets