Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours...

Chapitre 7

Réseau ART

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 2

Plan Compétition de base: Le gagnant emporte tout

Modèle générique ART Structure ART1 Améliorations: ART2 ARTMAP

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 3

Découverte K. Mehrotra, C.K. Mohan et S. Ranka,

Elements of Artificial Neural Networks, MIT Press, 1997.

Coup de coeur Traitement complet Algos génériques Exemples nombreux

G.A. Carpenter et S. Grossberg, Neural Networks for Vision and Image Processing, MIT Press, 1992

Répertoire de contributions Suite d’une conférence à Boston en 1991 Orienté recherche «égaré» à l’hiver 2003

J.A. Freeman et D.M. Skapura, Neural Networks: Algorithms, Applications and Programming Techniques, Addison Wesley, 1991

Couvre les principaux modèles: adaline, madaline, perceptron, BAM, Hopfield, SOM, ART, neocognitron

Source d’inspiration pour plusieurs acétates

Traitement complet, bien illustré

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 4

Vue d’ensemble

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 5

7.1 Couche de compétition

Gagnant-emporte-tout Modèle de base de plusieurs réseaux non-supervisés

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 6

Architecture

y1 y2 yM

x1 x2 x3 x4

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 7

ActivationProduit scalaire. La sortie est proportionnelle au cos de l’angle entre l’entrée et le vecteur de poids

Compétition : soit ym* le neurone avec la sortie maximaleym* = 1ym≠m* = 0

€

ym = wmnxnn

∑

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 8

Apprentissage

Le neurone le plus activé gagne la compétition. Son indice est m*.

Sa sortie ym* est placée à 1Tous les autres neurones ont leur sortie à 0

Renforcement des liens du neurone gagnant

€

v W m*

€

v X

Δ

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 9

a) avant l’apprentissage b) après l’apprentissage

x: vecteur de poids •: vecteur d’entrée

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 10

Phase de compétition

Solution logicielle: Max. (Y) ym* = 1 ymm* = 0

Solution neuronique: inhibition

y1 y2 yM

net1 net2 netM

+1−ε −ε ε <1M

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 11

Exercice

y1 y2 y4

0,8 0,2 0,6

+1−ε−ε

y3

0,4

−εε =0,2

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 12

7.2 Modèle générique ART ART: Adaptive Resonnance Theory Classification non-supervisée

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 13

Composantes: Couche d’entrée F1

– Sous-couche d’entrée F1(a)– Sous-couche d’interface F1(b)

Couche de classification F2 compétition

Mécanisme de comparaison Connexions:

Rappel (F1 F2) bji

Modèle (F2 F1) tij

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 14

Phases d’opération

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 15

Caractéristiques Apprentissage non-supervisé

–Catégorisation par regroupement de caractéristiques. Apprend les regroupements.

Mémoire incrémentale–On peut ajouter de nouvelles catégories sans effacer ce qui a été appris.

Inspiration biologique–Phénomène de base : éveillement–Dilemme stabilité platicité

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 16

€

F1(a)=Entrée=Xk

Structure du ART 1

F2 Catégoriesj

F1(b) =Interface

F1 Caractéristiques

i

€

Wf=bji

€

Wb=tij RAZRAZ

<ρ?

G1

G2

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 17

Couche F1 : couche de comparaison

ActivitéX1i

xi

G1

à F2

à RAZde F2

tij

si

G1=1 xi seulementG1=0 F2•xi

À cause règle 2/3: G1=1 si=xi•1 G1=0 si=F2•xi

G1=0 (inhibé) F2 0

Donc, aussitôt que del’activité se produit dans F2

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 18

Couche F2 : couche des catégories

ActivitéX2j

G2

à F1

de RAZ

de F1

bji

yj

à toutes lesunités de F2

tij

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 19

Fonctionnement Contrôle de gain: G1 et G2

–Permettent de contrôler le contenu de F1–Règle du 2/3: une unité dans F1 ou F2 est activée si 2 entrées sur 3 sont activées

Vigilance–L’entrée est comparée avec le prototype (modèle) généré par F2. Fonction ET sur F1

–Si comparaison < RAZ activé = facteur d’éveil 0 < < 1pour ≈1 X doit égaler exactementF1 retourné par F2

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 20

Compétition (couche de compétition F2)–Les mêmes connexions se répètent pour toutes les unités

–Résultat: ym* = 1 pour l’unité la plus activée ymm* = 0 pour toutes les autres unités

y1 y2 yM

net1 net2 netM

+1−ε −ε

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 21

Illustration du fonctionnement

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 22

0- InitialisationL > 1

€

0 < ρ ≤1

0 < bji (0) <L

L −1+ Itij (0) =1

2

0,9

1/1+I

1

1- Forme Xk présentée à F1a) X=0 G2=0 F2=0b) X=S G2=1F1(b) contient la forme S (=Xk) Fig. 8.2a

2- S propagé sur F2 Fig. 8.2a

€

si y j ≠ −1⇒ y j = b jixii

∑

• Algorithme

3- Compétition en F2. Forme résultat Y=yj* (1 neurone activé) Fig. 8.2b

4- Y projeté sur F1G1 inhibéF1 contient X•Y projeté = S Fig. 8.2b

5- Appariement

€

S = Si∑ X = Xi∑

€

si S

X< ρ :

€

si S

X> ρ :

6- RAZ activé Fig. 8.2cNeurone Y désactivé et inhibé yj*= -1 2

7- Renforcir Wf allant à Y

8- Renforcir Wb partant de Y

9- Enlever X G2=0Ré-activer les neuronesinhibés dans F2 (rés. de RAZ)

Fig. 8.2d

10- Retour à 1

€

b ji =L ⋅si

L−1+ S

€

tij = si

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 24

Exemple - ART1

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 25

ART1: convergence et robustesse

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 26

Améliorations

ART1: Entrées binairesART2: Entrées analogiques

Normalisation + ContrasteARTMAP: ART1s ou ART2s couplés

avec apprentissage supervisé

( augmenté pour certains exemples)

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 27

ART2

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 30

ARTMAP