Embed Size (px)
Citation preview
Réseaux de neurones
2
Sommaire
PerceptronMémoires associativesRéseau à couches cachées
Rétro-propagation de l’erreur
3
Perceptron
Considéré comme 1er réseau de neurones
Basé sur la biologie humaineCréé
Par Rosenblatt Entre 1957 et 1961
But : associer des configurations d’entrée à des réponses
4
Perceptron
Constitution
1/0
1/0
1/0
1/0
∑
∑
∑
{0/1}
{0/1}
{0/1}
Couche d’entrée / Rétine Couche de sortie
Connexions/Synapses
5
Perceptron
Constitution
1/0
1/0
1/0
1/0
∑
∑
∑
{0/1}
{0/1}
{0/1}
Couche d’entrée / Rétine Couche de sortie
Connexions/Synapses
6
Perceptron
Constitution
1/0
1/0
1/0
1/0
∑
∑
∑
{0/1}
{0/1}
{0/1}
aj= ∑i xiwij
x0
x1
x2
x3
w0j
w1j
w2j
w3j
oj=f(aj)
7
Perceptron
Constitution
aj= ∑i xiwij
x0
x1
x2
x3
w0j
w1j
w2j
w3j
oj=f(aj)
aj : activation de la jème cellule de sortie
xi : valeur de sortie de la ième cellule de la rétine
wi,j : intensité connexion entre ième cellule d’entrée et jème cellule de sortie
oj : régle de décisionoj = 0 pour aj <= θj, 1 pour aj > θj
8
Perceptron
Apprentissage Supervisé
On donne l’entrée et la sortie attendue Si sortie d’une cellule est bonne => on ne fait rien Sinon,
si elle est activée : on diminue la valeur de ses connexions
si elle est désactivée : on augmente la valeur de ses connexions
Jusqu’au moment où les réponses sont toutes correctes
9
Perceptron
Apprentissage Comment diminuer ou augmenter les
connexions ? Règle d’apprentissage de Widrow-Hoff
wi,j(t+1) = wi,j
(t)+n(tj-oj)xi = wi,j(t)+∆wi,j
Réponse théorique de la jème cellule de sortie
Facteur d’apprentissage
10
Perceptron
Problèmes Difficile de trouver de bons paramètres Impossible de modéliser le XOR
Pourquoi ? XOR est non linéairement séparable
Conséquence Le perceptron est alors mal vu et est abandonné
1,0
0,1
0,0
1,1
11
Mémoires associatives
Vers 1970Deux types
Mémoires hétéro-associatives Mémoires auto-associatives
12
Mémoires hétéro-associatives
Généralisation du perceptronL’activation de sortie est continue et non
plus 0 ou 1Même constitution mais
oj=γaj= γ(∑i xiwij)
13
Mémoires auto-associatives
Constitution
InputRéseau de neurones
14
Mémoires auto-associatives
Deux types Linéaires
Recherche de réponse par combinaison linéaire des stimulis stockés
Non linéaires Réseaux de Hopfield
• Réponses binaires : fonction sign dans {-1 , 1}• Mise à jour asynchrone
15
Mémoires auto-associatives
But Retrouver une information à partir d’une partie
de celle-ci
Exemple Retrouver un visage connu à partir d’un nez et
deux yeux
16
Sommaire
PerceptronMémoires associativesRéseau à couches cachées
Rétro-propagation de l’erreur
17
Réseaux à couches cachées
xINPUT
I neurones
hHIDDEN
L neurones
oOUTPUT
J neurones
Matrices de connexions
W Z
Constitution
18
Réseaux à couches cachées
aj= ∑i xiwij
x0
x1
x2
x3
w0j
w1j
w2j
w3j
oj=f(aj)
Zj0
Zj1
Zj2
Constitution
19
Rétro-propagation de l’erreur
Technique d’apprentissageIdée :
On teste une entrée On récupère la réponse On la compare à la réponse théorique On propage l’erreur entre les deux réponses, de
la sortie vers l’entrée du réseau
20
Rétro-propagation de l’erreur
Choix de f (fonction de transfert): La plus populaire : la fonction logistique
Sa dérivée
xexf
1
1)(
)](1)[()(' xfxfxf
21
Rétro-propagation de l’erreur
Algorithme1. On place une entrée
22
Rétro-propagation de l’erreur
Algorithme1. On place une entrée
2. Calcul des réponses pour hh=f(W*x)
23
Rétro-propagation de l’erreur
Algorithme1. On place une entrée
2. Calcul des réponses pour h
o=f(Z*h)
3. Calcul des réponses pour o
h=f(W*x)
24
Rétro-propagation de l’erreur
Algorithme1. On place une entrée
2. Calcul des réponses pour h
3. Calcul des réponses pour o
4. Calcul du signal d’erreur de sortie
sortie=f’(Zh)*(t - o)o=f(Z*h)
25
Rétro-propagation de l’erreur
Algorithme1. On place une entrée
2. Calcul des réponses pour h
3. Calcul des réponses pour o
4. Calcul du signal d’erreur de sortie
5. On ajuste Z avec le signal d’erreur
Z(t+1)=Z(t)+n sortie h = Z(t) + ∆(t)Z
sortie=f’(Zh)*(t - o)
26
Rétro-propagation de l’erreur
Algorithme1. On place une entrée
2. Calcul des réponses pour h
3. Calcul des réponses pour o
4. Calcul du signal d’erreur de sortie
5. On ajuste Z avec le signal d’erreur
6. Calcul du signal d’erreur de la couche cachée
cachée=f’(Wx)*(Z sortie)
Z(t+1)=Z(t)+n sortie h = Z(t) + ∆(t)Z
27
Rétro-propagation de l’erreur
Algorithme1. On place une entrée
2. Calcul des réponses pour h
3. Calcul des réponses pour o
4. Calcul du signal d’erreur de sortie
5. On ajuste Z avec le signal d’erreur
6. Calcul du signal d’erreur de la couche cachée
7. On ajuste W avec le signal d’erreur
W(t+1)=W(t)+n cachée x = W(t) + ∆(t)W
cachée=f’(Wx)*(Z sortie)
28
Rétro-propagation de l’erreur
Algorithme1. On place une entrée
2. Calcul des réponses pour h
3. Calcul des réponses pour o
4. Calcul du signal d’erreur de sortie
5. On ajuste Z avec le signal d’erreur
6. Calcul du signal d’erreur de la couche cachée
7. On ajuste W avec le signal d’erreur
W(t+1)=W(t)+n cachée x = W(t) + ∆(t)W
29
Rétro-propagation de l’erreur
Algorithme1. On place une entrée
2. Calcul des réponses pour h
3. Calcul des réponses pour o
4. Calcul du signal d’erreur de sortie
5. On ajuste Z avec le signal d’erreur
6. Calcul du signal d’erreur de la couche cachée
7. On ajuste W avec le signal d’erreur
30
Domaine des réseaux de neurones
Aide pour l’hommeClassification d’objetsApprentissage superviséRecherche d’une fonction complexe
