Résumé Domaine des réseaux de neurones. Chapitre 7 Réseau ART

RésuméDomaine des réseaux de neurones

Chapitre 7

Réseau ART

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 3

F1(a)=Entrée=I(n)

Structure du ART 1

F2 Catégoriesj

F1(b)=Interface

F1 Caractéristiques

i

Wf =bijWb=tji RAZRAZ

<ρ?

G1

G2


Exemple - ART1


ART1: convergence et robustesse


Améliorations

ART1: Entrées binairesART2: Entrées analogiques

Normalisation + ContrasteARTMAP: ART1s ou ART2s couplés

avec apprentissage supervisé

( augmenté pour certains exemples)


ART2


ARTMAP

Chapitre 8

Les réseaux de neurones compétitifs

Problématique de Reconnaissance de Formes

Espace d'entrée

XExtraction

desprimitives

Espace des primitives

YSystème

dedécision

Espace des décisions

D


Composantes principales

Système de

décision

Espace d’objet

s

Espace des primitives

Espace des

décisions

3.4.2 Les réseaux de neurones extracteurs de primitives

.... .

...... ..... ... ...v

x

z

uV1

V2

yy1...

. ... .... ..... .... ...z

x1i

j

i

j


Réseaux Compétitifs Linéaires

Implémentation mathématiques

{Xk, k = 1, 2, …, K} une base d’apprentissage Initialisation aléatoire des poids synaptiques1

Apprentissage2

Présentation de la forme Xk à la couche d’entrée

Calcul de l’activation des neurones de la couche de sortieyj(k), j = 1, 2, ..

a

b

Détermination du neurone gagnant j* cAjustement des poids synaptiques du neurone gagnant : d

pour n = 1, …, N(k) (k) (j*)kn n*j xy η=ω Δ


Réseaux Compétitifs Linéaires

Explication graphique

ωk(j1)

ωk(j2)ωk(jm)

ωk(j*)Xk

Neurone gagnant

vecteur des poids synaptiques du neurone

gagnant

ωk(j1)

ωk(j2)ωk(jm)

Δωk(j*)Xk

Nouveau vecteur des poids synaptiques

Compétition Adaptation



A2 A3

A1 A4

1 1

1 1

Le réseau Maxnet

Fonction d’activation :

Étape 0 : Initialiser les activations et les poids

Étape 1 (tant que 4 vrai faire 2-4) :

Étape 2 : Mise à jour des activations

Étape 3 : Sauvegarder activations

Étape 4 : Si plus d’une activation 0 continuer, sinon arrêt

( ) ( )⎥⎦

⎤⎢⎣

⎡−−−= ∑

≠jkkjj )1ta)1t(afta ε

( ) m,,1j,)1t(ata jj L=−=

-

-

-

--

- ⎩⎨⎧

≠−=

=jisi

jisi1w ij ε

( ) jj Anoeudduentrée0a

( )⎩⎨⎧ >

=autremento

0xsixxf

m

10avec <<


A2 A3

A1 A4

1 1

1 1

Le réseau Maxnet : Exemple 4.1 (Fausett p. 160)

Étape 0 : Initialiser les activations et les poids

Étape 1 (tant que 4 vrai faire 2-4) :

Étape 2 : Mise à jour des activations

Étape 3 : Sauvegarder activations

Étape 4 : Si plus d’une activation 0 continuer, sinon arrêt

( ) ( )⎥⎦

⎤⎢⎣

⎡−−−= ∑

≠jkkjj )1ta)1t(afta ε

( ) m,,1j,)1t(ata jj L=−=

-

-

-

--

- ⎩⎨⎧

≠−=

=jisi2.0

jisi1w ij

( ) jj Anoeudduentrée0a


Cartes topologiques de Kohonen

1ère constatation

L’organisation linéaire n’a pour intérêt que l’aspect pédagogique.

2ème constatation

Les réseaux compétitifs linéairess’éloignent de la réalité Neurobiologique« les zones d’activité ».



Architecture proposée : une couche linéaire mono ou multi dimensionnel.

m

Voisins ordonnésdu neurone m

i

j

1 2 3 1

2

3

Un neurone est caractérisé par ses poids synaptiques

et par sa position ( notion de voisinage topologique)



Formes de voisinage (2D)


U2U1

C4C2 C3C1 C5

0.3 0.7 0.6 0.9 0.1 0.5 0.4 0.3 0.8 0.2

Pour l’entrée (0.5, 0.2) et un taux d’apprentissage de 0.2

a) Soit Dm la distance entre l’entrée et le poids du vecteur Cm on a :

D1 = (0.3 - 0.5)2 + (0.7 – 0.2)2 = 0.29D2 = (0.6 – 0.5)2 + (0.9 – 0.2)2 = 0.50D3 = (0.1 –0.5)2 + (0.5 – 0.2)2 = 0.25D4 = (0.4 – 0.5)2 + (0.3 – 0.2)2 = 0.02D5 = (0.8 – 0.5)2 + (0.2 – 0.2)2 = 0.09

Le neurone le plus proche de l’entrée est donc C4, il gagne ainsi la compétition.

Ex. 4.2 : Carte de Kohonen


b) Mise à jour des poids pour le neurone gagnant J

w14(nouveau) = w14(vieux) + 0.2 (x1 – w14(vieux))

= 0.4 + 0.2(0.5 – 0.4) = 0.4 + 0.02 = 0.42


= 0.3 + 0.2(0.2 – 0.3) = 0.3 - 0.02 = 0.28

U2U1

C4C2 C3C1 C5

0.3 0.7 0.6 0.9 0.1 0.5 0.42 0.28 0.8 0.2


U2U1

C4C2 C3C1 C5

0.3 0.7 0.6 0.9 0.18 0.44 0.4 0.3 0.74 0.2

c) Si on permet à J-1 et à J+1 d’apprendre alors


= 0.1 + 0.2(0.5 – 0.1) = 0.1 + 0.08 = 0.18

w23(nouveau) = 0.5 + 0.2(0.2 – 0.5) = 0.5 - 0.06 = 0.44

w15(nouveau) = 0.8 + 0.2(0.2 – 0.8) = 0.8 - 0.06 = 0.74

w25(nouveau) = 0.2 + 0.2(0.2 – 0.2) = 0.2 + 0.0 = 0.2


Réseaux de quantification vectorielle

Quantification vectorielle non supervisée

.

. ..

..

.

.

.

.

.

... ..

. . ..

. .. .. ... .. .. . .

. . .. .. .

.

. ..

..

.

.

.

.

.

... ..

. . ..

. .. .. ... .. .. . .

. . .. .. .

.

. ..

..

.

.

.

.

.

...

..

. . ..

. .. .. ... .. .. . .

.. .. .. .

Quantification vectorielle supervisée

.

. ..

..

.

.

.

.

.

...

..

. . ..

. .. .. ... .. .. . .

.. .. .. .



Explication graphique

ωk(j1)

ωk(j2)ωk(jm)

ωk(j*)Xk

Neurone gagnant

vecteur des poids synaptiques du neurone

gagnant

ωk(j1)

ωk(j2)ωk(jm)

Δωk(j*)Xk

Nouveau vecteur des poids synaptiques

Compétition Adaptation



Il s’agit d ’un apprentissage non supervisé

Adaptation des poids plus sévère que celle de Hebb

Règle de Hebb Algorithme LVQ

Convergence non garantie



L’algorithme d’apprentissage LVQ1Retour au principe de Récompense/Punition

ω(1)

ω(2)ω(j) ω(j*)

Xk

Δ ω(j*)

RécompenseClasse(Xk) = Classe(ω(j*))

Punition

Classe(Xk) Classe(ω(j*))

ω(1)

ω(2)ω(j) ω(j*)

Xk

Δ ω(j*)

Δω(j*) = + η(t) [Xk - ω (j*)] Si Classe(Xk) = Classe(ω(j*))

Δω(j*) = - η(t) [Xk - ω (j*)] Si Classe(Xk) Classe(ω(j*))



L’algorithme d’apprentissage LVQ2La course aux performances ……...

L'adaptation des vecteurs de référence correspondant ω(j0) et ω(i0) est réalisée si et seulement si les trois conditions suivantes sont vérifiées :

La compétition fournie deux neurones gagnants :le premier j0 et le second i0 gagnants.

L’esprit de l ’algorithme de Rosenblatt :

Maintenir le principe de Récompense/Punition


Ex. 4.5 : Réseau LVQ

C4C2 C3C1

C2C4 C1C3

C4C2 C3C1

C2C4 C1C30.8

0.6

0.4

0.2

0.2 0.4 0.6 0.8


a) Si on présente une entrée de valeur (0.25, 0.25) étiqueté classe 1, le neurone C1 (0.2, 0.2) est le plus proche, il est bien étiqueté et ses poids sont ajustés par

(0.2, 0.2) + 0.5(0.25 – 0.2, 0.25 – 0.2) = (0.225, 0.225)

C4C2 C3

C2C4 C1C3

C4C2 C3C1

C2C4 C1C3

0.225

(0.25, 0.25)

C1

0.4 0.6 0.80.2 0.225

0.8

0.6

0.4

0.2


C4C2 C3

C2C1C3

C4C2 C3C1

C2C4 C1C3

0.425

C1

b) Si on présente une entrée de valeur (0.4, 0.35) étiqueté classe 1, le neurone C4 (0.4, 0.4) est le plus proche mais il est mal étiqueté et ses poids sont ajustés par

(0.4, 0.4) - 0.5(0.4 – 0.4, 0.35 – 0.4) = (0.4, 0.425)

C4

(0.4, 0.35)

0.8

0.6

0.4

0.4 0.6 0.80.2

0.2


C4C2 C3

C2C1

C4C2 C3C1

C2C4 C1C3

c) Si on présente une entrée de valeur (0.4, 0.45) étiqueté classe 1, le neurone C4 (0.4, 0.4) est le plus proche mais il est encore mal étiqueté et ses poids sont ajustés par

(0.4, 0.4) - 0.5(0.4 – 0.4, 0.45 – 0.4) = (0.4, 0.375)

C40.375

(0.4, 0.45)

C1

0.8

0.6

0.4

0.4 0.6 0.80.2

0.2

C3


C4C2 C3

C2C1

C4C2 C3C1

C2C4 C1C3

d) Présenter (0.4, 0.35) tend à éloigner C4 de la zone où les entrées d’apprentissage représentent la classe 1, alors que (0.4, 0.45) tend à rapprocher C4 de la zone où les entrées d’apprentissage représentent la classe 1. La première alternative est la plus efficace.

C40.375

(0.4, 0.45)

C1

0.8

0.6

0.4

0.4 0.6 0.80.2

0.2

C3

Classe 1

Classe 4

Chapitre 9

Systèmes experts


9- Systèmes experts

PlanVue d ’ensembleArchitecture Représentation des connaissancesMoteur de déduction


9.1 Vue d ’ensemble Un système expert est un logiciel qui a pour but de simuler le comportement d’un spécialiste humain dans un domaine bien précis lorsqu’il accomplit une tâche de résolution de problèmes pour lesquels il n’existe pas de solution évidente ou algorithmique.


Programmation de l ’expertise : Insuffisamment structurée pour être transcrite sous forme d ’algorithmes

Sujette à de nombreuses révisions Incomplète parce qu’en continuelle évolution

Sinon : Problème mieux résolu par algos classiques

Problème hors de portée (expertise difficilement formalisable)


Domaines d ’utilisation des SEsConfigurationDiagnosticEnseignementinterprétationSurveillancePlanificationPrédictionDiagnostic médicalCommande de processus


Quelques SEs célèbres DENDRAL (le premier, 1965) chimie

interprétation de la structure moléculaire

CADHELP électronique instructions pour la CAO

MYCIN (beaucoup d ’influence) médecinediagnostic pour infections

bactériennes PROSPECTOR géologieinterprétation données géol. Minerais

XCON (beaucoup de succès)informatique configuration mini ordi. VAX de DEC


Composantes de base d’un SE Connaissances Mécanisme de raisonnement

Expertise = Savoir - Faire Connaissances correspondent à ce que nous savons du domaine considéré

Mécanismes de raisonnement correspondent à ce que nous faisons pour obtenir une solution


9.2 Architecture

Connais- Faitssances

Connais- Faitssances

Module Moduled’inférence d’explica-

tion

Interface

Moteur de déduction

Base de connaissance

Expert Utilisateur

acquisition consultation


Systèmes de productionArchitecture de SE la plus répandue

Connaissances : règles de production

Mécanisme d ’inférence


Moteurs d’inférence– Cycle de base

Sélection des règles Filtrage Résolution des conflits Exécution

– Stratégies de recherche Largeur d’abord Profondeur d’abord

Stratégie irrévocable Stratégie par tentatives

Profondeur limité Recherche heuristique

– Mode d’invocation des règles Chaînage avant Chaînage arrière


9.3 Représentation des connaissances

Règles de productionSi (proposition logique) Alors (actions)

prémisse conclusions


Moteur d’inférence

Cycles de base1- Phase de restriction

Choix du sous-ensemble de connaissances

2- Phase de filtrageChoix des règles applicables


3- Phase de sélection–Stratégies de recherche

Largeur d’abord Profondeur d’abord

Stratégie irrévocable Stratégie par tentatives

Profondeur limité Recherche heuristique

–Résout conflits lorsque plusieurs règles s’appliquent

Sélection simple (1ère de la liste, la + utilisée, etc.)

Sélection selon contexte (chaînage avant, arrière, la plus prometteuse, la plus fiable, etc.)


4- Phase d’exécution–Appliquer la règle sélectionnée

Modification de l’ensemble de faits (générer des états intermédiaires)

Questionner l’usager Exécuter les actions externe


Stratégies de recherche1. La recherche en largeur d’abord2. La recherche en profondeur

d’abord3. La recherche en profondeur

limitée4. La recherche heuristique


Illustration: labyrinthe

Documents

Résumé Domaine des réseaux de neurones. Chapitre 7 Réseau ART