Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte

Chapitre 7

Réseau ART

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 2

Plan Compétition de base: Le gagnant emporte tout

Modèle générique ART Structure ART1 Améliorations: ART2 ARTMAP


Découverte K. Mehrotra, C.K. Mohan et S. Ranka,

Elements of Artificial Neural Networks, MIT Press, 1997.

Coup de coeur Traitement complet Algos génériques Exemples nombreux

G.A. Carpenter et S. Grossberg, Neural Networks for Vision and Image Processing, MIT Press, 1992

Répertoire de contributions Suite d’une conférence à Boston en 1991 Orienté recherche «égaré» à l’hiver 2003

J.A. Freeman et D.M. Skapura, Neural Networks: Algorithms, Applications and Programming Techniques, Addison Wesley, 1991

Couvre les principaux modèles: adaline, madaline, perceptron, BAM, Hopfield, SOM, ART, neocognitron

Source d’inspiration pour plusieurs acétates

Traitement complet, bien illustré


Vue d’ensemble


7.1 Couche de compétition

Gagnant-emporte-tout Modèle de base de plusieurs réseaux non-supervisés


Architecture

y1 y2 yM

x1 x2 x3 x4


ActivationProduit scalaire. La sortie est proportionnelle au cos de l’angle entre l’entrée et le vecteur de poids

Compétition : soit ym* le neurone avec la sortie maximaleym* = 1ym≠m* = 0

€

ym = wmnxnn

∑


Apprentissage

Le neurone le plus activé gagne la compétition. Son indice est m*.

Sa sortie ym* est placée à 1Tous les autres neurones ont leur sortie à 0

Renforcement des liens du neurone gagnant

€

v W m*

€

v X

Δ


a) avant l’apprentissage b) après l’apprentissage

x: vecteur de poids •: vecteur d’entrée


Phase de compétition

Solution logicielle: Max. (Y) ym* = 1 ymm* = 0

Solution neuronique: inhibition

y1 y2 yM

net1 net2 netM

+1−ε −ε ε <1M


Exercice

y1 y2 y4

0,8 0,2 0,6

+1−ε−ε

y3

0,4

−εε =0,2


7.2 Modèle générique ART ART: Adaptive Resonnance Theory Classification non-supervisée


Composantes: Couche d’entrée F1

– Sous-couche d’entrée F1(a)– Sous-couche d’interface F1(b)

Couche de classification F2 compétition

Mécanisme de comparaison Connexions:

Rappel (F1 F2) bji

Modèle (F2 F1) tij


Phases d’opération


Caractéristiques Apprentissage non-supervisé

–Catégorisation par regroupement de caractéristiques. Apprend les regroupements.

Mémoire incrémentale–On peut ajouter de nouvelles catégories sans effacer ce qui a été appris.

Inspiration biologique–Phénomène de base : éveillement–Dilemme stabilité platicité


€

F1(a)=Entrée=Xk

Structure du ART 1

F2 Catégoriesj

F1(b) =Interface

F1 Caractéristiques

i

€

Wf=bji

€

Wb=tij RAZRAZ

<ρ?

G1

G2


Couche F1 : couche de comparaison

ActivitéX1i

xi

G1

à F2

à RAZde F2

tij

si

G1=1 xi seulementG1=0 F2•xi

À cause règle 2/3: G1=1 si=xi•1 G1=0 si=F2•xi

G1=0 (inhibé) F2 0

Donc, aussitôt que del’activité se produit dans F2


Couche F2 : couche des catégories

ActivitéX2j

G2

à F1

de RAZ

de F1

bji

yj

à toutes lesunités de F2

tij


Fonctionnement Contrôle de gain: G1 et G2

–Permettent de contrôler le contenu de F1–Règle du 2/3: une unité dans F1 ou F2 est activée si 2 entrées sur 3 sont activées

Vigilance–L’entrée est comparée avec le prototype (modèle) généré par F2. Fonction ET sur F1

–Si comparaison < RAZ activé = facteur d’éveil 0 < < 1pour ≈1 X doit égaler exactementF1 retourné par F2


Compétition (couche de compétition F2)–Les mêmes connexions se répètent pour toutes les unités

–Résultat: ym* = 1 pour l’unité la plus activée ymm* = 0 pour toutes les autres unités

y1 y2 yM

net1 net2 netM

+1−ε −ε


Illustration du fonctionnement


0- InitialisationL > 1

€

0 < ρ ≤1

0 < bji (0) <L

L −1+ Itij (0) =1

2

0,9

1/1+I

1

1- Forme Xk présentée à F1a) X=0 G2=0 F2=0b) X=S G2=1F1(b) contient la forme S (=Xk) Fig. 8.2a

2- S propagé sur F2 Fig. 8.2a

€

si y j ≠ −1⇒ y j = b jixii

∑

• Algorithme

3- Compétition en F2. Forme résultat Y=yj* (1 neurone activé) Fig. 8.2b

4- Y projeté sur F1G1 inhibéF1 contient X•Y projeté = S Fig. 8.2b

5- Appariement

€

S = Si∑ X = Xi∑

€

si S

X< ρ :

€

si S

X> ρ :

6- RAZ activé Fig. 8.2cNeurone Y désactivé et inhibé yj*= -1 2

7- Renforcir Wf allant à Y

8- Renforcir Wb partant de Y

9- Enlever X G2=0Ré-activer les neuronesinhibés dans F2 (rés. de RAZ)

Fig. 8.2d

10- Retour à 1

€

b ji =L ⋅si

L−1+ S

€

tij = si


Exemple - ART1


ART1: convergence et robustesse


Améliorations

ART1: Entrées binairesART2: Entrées analogiques

Normalisation + ContrasteARTMAP: ART1s ou ART2s couplés

avec apprentissage supervisé

( augmenté pour certains exemples)


ART2


ARTMAP

Documents

Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte