Résumé Domaine des réseaux de neurones. Chapitre 7 Réseau ART

RésuméDomaine des réseaux de neurones

Chapitre 7

Réseau ART

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 3

F1(a)=Entrée=I(n)

Structure du ART 1

F2 Catégoriesj

F1(b)=Interface

F1 Caractéristiques

Wf =bijWb=tji RAZRAZ

Exemple - ART1

ART1: convergence et robustesse

Améliorations

ART1: Entrées binairesART2: Entrées analogiques

Normalisation + ContrasteARTMAP: ART1s ou ART2s couplés

avec apprentissage supervisé

( augmenté pour certains exemples)

ARTMAP

Chapitre 8

Les réseaux de neurones compétitifs

Problématique de Reconnaissance de Formes

Espace d'entrée

XExtraction

desprimitives

Espace des primitives

YSystème

dedécision

Espace des décisions

Composantes principales

Système de

décision

Espace d’objet

Espace des primitives

Espace des

décisions

3.4.2 Les réseaux de neurones extracteurs de primitives

.... .

...... ..... ... ...v

yy1...

. ... .... ..... .... ...z

Réseaux Compétitifs Linéaires

Implémentation mathématiques

{Xk, k = 1, 2, …, K} une base d’apprentissage Initialisation aléatoire des poids synaptiques1

Apprentissage2

Présentation de la forme Xk à la couche d’entrée

Calcul de l’activation des neurones de la couche de sortieyj(k), j = 1, 2, ..

Détermination du neurone gagnant j* cAjustement des poids synaptiques du neurone gagnant : d

pour n = 1, …, N(k) (k) (j*)kn n*j xy η=ω Δ

Réseaux Compétitifs Linéaires

Explication graphique

ωk(j1)

ωk(j2)ωk(jm)

ωk(j*)Xk

Neurone gagnant

vecteur des poids synaptiques du neurone

gagnant

ωk(j1)

ωk(j2)ωk(jm)

Δωk(j*)Xk

Nouveau vecteur des poids synaptiques

Compétition Adaptation

Le réseau Maxnet

Fonction d’activation :

Étape 0 : Initialiser les activations et les poids

Étape 1 (tant que 4 vrai faire 2-4) :

Étape 2 : Mise à jour des activations

Étape 3 : Sauvegarder activations

Étape 4 : Si plus d’une activation 0 continuer, sinon arrêt

( ) ( )⎥⎦

⎤⎢⎣

⎡−−−= ∑

≠jkkjj )1ta)1t(afta ε

( ) m,,1j,)1t(ata jj L=−=

- ⎩⎨⎧

≠−=

jisi1w ij ε

( ) jj Anoeudduentrée0a

( )⎩⎨⎧ >

=autremento

0xsixxf

10avec <<

Le réseau Maxnet : Exemple 4.1 (Fausett p. 160)

Étape 0 : Initialiser les activations et les poids

Étape 1 (tant que 4 vrai faire 2-4) :

Étape 2 : Mise à jour des activations

Étape 3 : Sauvegarder activations

Étape 4 : Si plus d’une activation 0 continuer, sinon arrêt

( ) ( )⎥⎦

⎤⎢⎣

⎡−−−= ∑

≠jkkjj )1ta)1t(afta ε

( ) m,,1j,)1t(ata jj L=−=

- ⎩⎨⎧

≠−=

=jisi2.0

jisi1w ij

( ) jj Anoeudduentrée0a

Cartes topologiques de Kohonen

1ère constatation

L’organisation linéaire n’a pour intérêt que l’aspect pédagogique.

2ème constatation

Les réseaux compétitifs linéairess’éloignent de la réalité Neurobiologique« les zones d’activité ».

Architecture proposée : une couche linéaire mono ou multi dimensionnel.

Voisins ordonnésdu neurone m

1 2 3 1

Un neurone est caractérisé par ses poids synaptiques

et par sa position ( notion de voisinage topologique)

Formes de voisinage (2D)

C4C2 C3C1 C5

0.3 0.7 0.6 0.9 0.1 0.5 0.4 0.3 0.8 0.2

Pour l’entrée (0.5, 0.2) et un taux d’apprentissage de 0.2

a) Soit Dm la distance entre l’entrée et le poids du vecteur Cm on a :

D1 = (0.3 - 0.5)2 + (0.7 – 0.2)2 = 0.29D2 = (0.6 – 0.5)2 + (0.9 – 0.2)2 = 0.50D3 = (0.1 –0.5)2 + (0.5 – 0.2)2 = 0.25D4 = (0.4 – 0.5)2 + (0.3 – 0.2)2 = 0.02D5 = (0.8 – 0.5)2 + (0.2 – 0.2)2 = 0.09

Le neurone le plus proche de l’entrée est donc C4, il gagne ainsi la compétition.

Ex. 4.2 : Carte de Kohonen

b) Mise à jour des poids pour le neurone gagnant J

w14(nouveau) = w14(vieux) + 0.2 (x1 – w14(vieux))

= 0.4 + 0.2(0.5 – 0.4) = 0.4 + 0.02 = 0.42

= 0.3 + 0.2(0.2 – 0.3) = 0.3 - 0.02 = 0.28

C4C2 C3C1 C5

0.3 0.7 0.6 0.9 0.1 0.5 0.42 0.28 0.8 0.2

C4C2 C3C1 C5

0.3 0.7 0.6 0.9 0.18 0.44 0.4 0.3 0.74 0.2

c) Si on permet à J-1 et à J+1 d’apprendre alors

= 0.1 + 0.2(0.5 – 0.1) = 0.1 + 0.08 = 0.18

w23(nouveau) = 0.5 + 0.2(0.2 – 0.5) = 0.5 - 0.06 = 0.44

w15(nouveau) = 0.8 + 0.2(0.2 – 0.8) = 0.8 - 0.06 = 0.74

w25(nouveau) = 0.2 + 0.2(0.2 – 0.2) = 0.2 + 0.0 = 0.2

Réseaux de quantification vectorielle

Quantification vectorielle non supervisée

... ..

. . ..

. .. .. ... .. .. . .

. . .. .. .

... ..

. . ..

. .. .. ... .. .. . .

. . .. .. .

. . ..

. .. .. ... .. .. . .

.. .. .. .

Quantification vectorielle supervisée

. . ..

. .. .. ... .. .. . .

.. .. .. .

Explication graphique

ωk(j1)

ωk(j2)ωk(jm)

ωk(j*)Xk

Neurone gagnant

vecteur des poids synaptiques du neurone

gagnant

ωk(j1)

ωk(j2)ωk(jm)

Δωk(j*)Xk

Nouveau vecteur des poids synaptiques

Compétition Adaptation

Il s’agit d ’un apprentissage non supervisé

Adaptation des poids plus sévère que celle de Hebb

Règle de Hebb Algorithme LVQ

Convergence non garantie

L’algorithme d’apprentissage LVQ1Retour au principe de Récompense/Punition

ω(2)ω(j) ω(j*)

Δ ω(j*)

RécompenseClasse(Xk) = Classe(ω(j*))

Punition

Classe(Xk) Classe(ω(j*))

ω(2)ω(j) ω(j*)

Δ ω(j*)

Δω(j*) = + η(t) [Xk - ω (j*)] Si Classe(Xk) = Classe(ω(j*))

Δω(j*) = - η(t) [Xk - ω (j*)] Si Classe(Xk) Classe(ω(j*))

L’algorithme d’apprentissage LVQ2La course aux performances ……...

L'adaptation des vecteurs de référence correspondant ω(j0) et ω(i0) est réalisée si et seulement si les trois conditions suivantes sont vérifiées :

La compétition fournie deux neurones gagnants :le premier j0 et le second i0 gagnants.

L’esprit de l ’algorithme de Rosenblatt :

Maintenir le principe de Récompense/Punition

Ex. 4.5 : Réseau LVQ

C4C2 C3C1

C2C4 C1C3

C4C2 C3C1

C2C4 C1C30.8

0.2 0.4 0.6 0.8

a) Si on présente une entrée de valeur (0.25, 0.25) étiqueté classe 1, le neurone C1 (0.2, 0.2) est le plus proche, il est bien étiqueté et ses poids sont ajustés par

(0.2, 0.2) + 0.5(0.25 – 0.2, 0.25 – 0.2) = (0.225, 0.225)

C4C2 C3

C2C4 C1C3

C4C2 C3C1

C2C4 C1C3

(0.25, 0.25)

0.4 0.6 0.80.2 0.225

C4C2 C3

C2C1C3

C4C2 C3C1

C2C4 C1C3

b) Si on présente une entrée de valeur (0.4, 0.35) étiqueté classe 1, le neurone C4 (0.4, 0.4) est le plus proche mais il est mal étiqueté et ses poids sont ajustés par

(0.4, 0.4) - 0.5(0.4 – 0.4, 0.35 – 0.4) = (0.4, 0.425)

(0.4, 0.35)

0.4 0.6 0.80.2

C4C2 C3

C4C2 C3C1

C2C4 C1C3

c) Si on présente une entrée de valeur (0.4, 0.45) étiqueté classe 1, le neurone C4 (0.4, 0.4) est le plus proche mais il est encore mal étiqueté et ses poids sont ajustés par

(0.4, 0.4) - 0.5(0.4 – 0.4, 0.45 – 0.4) = (0.4, 0.375)

C40.375

(0.4, 0.45)

0.4 0.6 0.80.2

C4C2 C3

C4C2 C3C1

C2C4 C1C3

d) Présenter (0.4, 0.35) tend à éloigner C4 de la zone où les entrées d’apprentissage représentent la classe 1, alors que (0.4, 0.45) tend à rapprocher C4 de la zone où les entrées d’apprentissage représentent la classe 1. La première alternative est la plus efficace.

C40.375

(0.4, 0.45)

0.4 0.6 0.80.2

Classe 1

Classe 4

Chapitre 9

Systèmes experts

9- Systèmes experts

PlanVue d ’ensembleArchitecture Représentation des connaissancesMoteur de déduction

9.1 Vue d ’ensemble Un système expert est un logiciel qui a pour but de simuler le comportement d’un spécialiste humain dans un domaine bien précis lorsqu’il accomplit une tâche de résolution de problèmes pour lesquels il n’existe pas de solution évidente ou algorithmique.

Programmation de l ’expertise : Insuffisamment structurée pour être transcrite sous forme d ’algorithmes

Sujette à de nombreuses révisions Incomplète parce qu’en continuelle évolution

Sinon : Problème mieux résolu par algos classiques

Problème hors de portée (expertise difficilement formalisable)

Domaines d ’utilisation des SEsConfigurationDiagnosticEnseignementinterprétationSurveillancePlanificationPrédictionDiagnostic médicalCommande de processus

Quelques SEs célèbres DENDRAL (le premier, 1965) chimie

interprétation de la structure moléculaire

CADHELP électronique instructions pour la CAO

MYCIN (beaucoup d ’influence) médecinediagnostic pour infections

bactériennes PROSPECTOR géologieinterprétation données géol. Minerais

XCON (beaucoup de succès)informatique configuration mini ordi. VAX de DEC

Composantes de base d’un SE Connaissances Mécanisme de raisonnement

Expertise = Savoir - Faire Connaissances correspondent à ce que nous savons du domaine considéré

Mécanismes de raisonnement correspondent à ce que nous faisons pour obtenir une solution

9.2 Architecture

Connais- Faitssances

Module Moduled’inférence d’explica-

Interface

Moteur de déduction

Base de connaissance

Expert Utilisateur

acquisition consultation

Systèmes de productionArchitecture de SE la plus répandue

Connaissances : règles de production

Mécanisme d ’inférence

Moteurs d’inférence– Cycle de base

Sélection des règles Filtrage Résolution des conflits Exécution

– Stratégies de recherche Largeur d’abord Profondeur d’abord

Stratégie irrévocable Stratégie par tentatives

Profondeur limité Recherche heuristique

– Mode d’invocation des règles Chaînage avant Chaînage arrière

9.3 Représentation des connaissances

Règles de productionSi (proposition logique) Alors (actions)

prémisse conclusions

Moteur d’inférence

Cycles de base1- Phase de restriction

Choix du sous-ensemble de connaissances

2- Phase de filtrageChoix des règles applicables

3- Phase de sélection–Stratégies de recherche

Largeur d’abord Profondeur d’abord

Stratégie irrévocable Stratégie par tentatives

Profondeur limité Recherche heuristique

–Résout conflits lorsque plusieurs règles s’appliquent

Sélection simple (1ère de la liste, la + utilisée, etc.)

Sélection selon contexte (chaînage avant, arrière, la plus prometteuse, la plus fiable, etc.)

4- Phase d’exécution–Appliquer la règle sélectionnée

Modification de l’ensemble de faits (générer des états intermédiaires)

Questionner l’usager Exécuter les actions externe

Stratégies de recherche1. La recherche en largeur d’abord2. La recherche en profondeur

d’abord3. La recherche en profondeur

limitée4. La recherche heuristique

Illustration: labyrinthe

Résumé Domaine des réseaux de neurones. Chapitre 7 Réseau ART

Documents

Les neurones

LES RÉSEAUX DE NEURONES MATÉRIELS - Zeste de … · 2 Réseaux de neurones matériels Cesarchitecturess’inspirentfortementducerveauhumain,etdufonctionnementdusystème nerveux.Cesréseauxdeneuronessontcapablesd

Réseaux de Neurones Artificiels©seau-de-Neurones-Artificiels.pdfTitle Réseaux de Neurones Artificiels Author manu Created Date 3/12/2009 5:29:23 PM

Le Reseau De Neurones

Réseaux de neurones : modèle linéaire

Réseaux de neurones artificiels - evelyne.lutton.free.frevelyne.lutton.free.fr/SlidesCours/Cours RN.pdf · Plan • L’idée – l’inspiration biologique • Réseaux de neurones

Les Reseaux de Neurones Artificiels

Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte

Résumé Domaine des réseaux de neurones. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #10 - 2 Domaines dapplication de l IA

INTRODUCTION AUX RÉSEAUX DE NEURONES

Les réseaux de neurones artificiels - acse.pub.roacse.pub.ro/wp-content/uploads/2014/05/Les-réseaux-de-neurones... · Les Réseaux de Neurones Artificiels • 1 Présentation •

Prévision du trafic à court terme par réseau de neurones · PDF filepage 2 Bien que l'application des réseaux de neurones au domaine prévisionnel reste très récente, on trouve

Titre II : L'utilisation du domaine public...Titre II : L'utilisation du domaine public « Art. L. 2121-1 du CG3P - Les biens du domaine public sont utilisés conformément à leur

COMMUNE DE MONTREUX REGLEMENT DU PLAN …€¦ · ECA établissement cantonal d'assurance ... Art. 53 Terrain à forte pente ... Art. 73 Anticipation sur le domaine public

Réseaux de neurones avc Matlab

Réseau de neurones

Chapitre 6 Apprentissage des réseaux de neurones et ... · Chapitre 6 : Apprentissage des réseaux de neurones et régularisation 77 Chapitre 6 Apprentissage des réseaux de neurones

réseaux de neurones - documents.irevues.inist.fr

LES RÉSEAUX DE NEURONES MATÉRIELS · 2 Réseaux de neurones matériels Cesarchitecturess’inspirentfortementducerveauhumain,etdufonctionnementdusystème nerveux.Cesréseauxdeneuronessontcapablesd

Réseaux des neurones