unknown_Les_réseaux_de_neurones__

7/28/2019 unknown_Les_rseaux_de_neurones__

1/27

Chapitre I

L es rseaux de NeuronesArtificiels


2/27

Chapitre I Les Rseaux de Neurones Artificiels

Electrotechnique Msila 2006 2

I .1 I ntroduction

Lvolution technologique durant les dernires annes a permis aux scientifiques

dlaborer et de perfectionner des mthodes pour diffrents domaines. Lvolution des

ordinateurs en particulier et la capacit dintgration de composants formidable atteintes nos

jours ont permis une grande vitesse de calcul et une grande capacit mmoire. Parmi ces

mthodes, il existe une mthode qui est utilise dans plusieurs domaines de recherches et de

diffrentes manires, ainsi elle peut tre utilise dune manire compltement Soft en utilisant

uniquement lordinateur ou dune manire Hard en utilisant les circuits intgrs. Cette

mthode est celle des rseaux de neurones artificiels (RNA).

Les rseaux de neurones artificiels sont des outils puissants capables dtre utiliss dansprs que tous les domaines technologiques, et on peut citer : Le traitement du signal, vision,

parole, prvision, modlisation, aide la dcision, robotique, valuation des cosystmes,

identification des bactries, commande des processus, modlisation des systmes physiques,

reconnaissance des formes, mesure, instrumentation,... [1].

I.2 Historique

Les dbuts des RNA ont t mouvements, leur conception et leur dveloppement napas t une chose facile car aprs leur mise au point, il y a plus de soixante ans, ils ont

rencontr une priode de sommeil cause de leur complexit dimplmentation et de

ralisation mais ils ont fini par rapparatre avec lapparition des puissants ordinateurs.

Les RNA ont commenc voir le jour ds 1890 avec W. James, un clbre psychologue

Amricain qui a introduit le concept de mmoire associative, et proposa une loi de

fonctionnement pour lapprentissage sur les rseaux de neurones. Cette rgle sera connue sous

le nom : la rgle de Hebb. En 1943, Mc Culloch et Pitts deux bio-physiciens de luniversit de

Chicago ont dmontr quun rseau de neurones discret peut reprsenter nimporte quelle

fonction boolenne, principe de base dun ordinateur. Quelques annes aprs, en 1949

D.Hebb, physiologiste amricain explique le conditionnement chez lanimal par les proprits

des neurones eux-mmes. La loi de modification des proprits des connexions entre neurones

quil propose dmontre en partie ses rsultats exprimentaux. Il introduit le terme

connexionisme pour parler de modles massivement parallles, connects et propos de

nombreuses rgles de mise jour des poids dont la clbre rgle de Hebb. Rosenblatt proposa


3/27



en 1958 le perceptron, un rseau de neurones inspir du systme visuel. Il possde deux

couches de neurones :

- une couche de perception,

- une couche lie la prise de dcision.

C'est le premier systme artificiel capable d'apprendre par exprience. Ce rseau, tait

capable dapprendre diffrencier des formes simples et calculer certaines fonctions

logiques. Dans la mme priode, Le modle de L'Adaline (adaptive linar element) a t

prsent par B. Widrow, chercheur Amricain Stanford. Ce modle sera par la suite le

modle de base des rseaux multicouches.

Lune des causes qui est lorigine du dsintressement des chercheurs aux RNA est

apparue en 1969, avec lapparition dun livre connu sous le nom Perceptrons de Minsky et

Papert et dans lequel ils publirent leur argumentation mathmatique visant dmontrer les

limitations du perceptron (Rseaux de neurones une seule couche) et en particulier,

lincapacit du rseau rsoudre les problmes non linairement sparables, dont la fonction

logique XOR est un clbre exemple. Ce nest quau dbut des annes 80 que lintrt des

chercheurs pour les rseaux de neurones renat et plus prcisment en 1982 grce Hopfield

qui proposa les rseaux de neurones associatifs. Paralllement, Werbos conoit un mcanisme

dapprentissage pour les rseaux multicouches de type perceptron.

Lanne 1986 a vu lapparition de lalgorithme de rtropropagation de lerreur publi par

Rumelhart, Hinton et Williamsrreur qui permet doptimiser les paramtres dun rseau de

neurones plusieurs couches, ainsi les recherches sur les rseaux de neurones ont dmarr

fortement, impliquant le succs de cette mthode et son application dans divers domaines [1]

[2].

I .3 L e neurone biologique

I .3.1 Systme Nerveux

Le cerveau humain, est le meilleur modle de la machine, polyvalente incroyablement

rapide et surtout doue dune incomparable capacit dauto organisation. Son comportement

est beaucoup plus mystrieux que le comportement de ses cellules de base. Il est constitu

dun grand nombre dunits biologiques lmentaires (1000 10000 synapse par neurone).


4/27



Figure (I.1) Le neurone biologique

Les cellules nerveuses appeles " neurones ", sont les lments de base du systme nerveux

central. Elles sont constitues de trois parties essentielles : le corps cellulaire, les dendrites et

laxone figure (I.1) [1][2].

I .3.1.1 Le corps cellu laire

Il contient le noyau du neurone et effectue les transformations biochimiques ncessaires

la synthse des enzymes et des autres molcules qui assurent la vie de neurone. Sa forme est

pyramidale ou sphrique dans la plupart des cas, elle dpend souvent de sa position dans le

cerveau. Ce corps cellulaire fait quelques microns de diamtre [3].

I .3.1.2 Les dendr ites

Chaque neurone possde une chevelure de dendrites. Celles-ci sont de fines extensions

tubulaires, de quelques diximes de microns de diamtre et dune longueur de quelquesdizaines de microns. Elles sont les rcepteurs principaux du neurone qui servent capter les

signaux qui lui parviennent [3].

I .3.1.3Laxone

Laxone, qui est proprement parler la fibre nerveuse, sert de moyen de transport pour

les signaux mis par le neurone. Il se distingue des dendrites par sa forme et par les proprits

de sa membrane externe. En effet, il est gnralement plus longue que les dendrites, et se

ramifie son extrmit, l o il communique avec les autres neurones, alors que lesramifications des dendrites se produisent plutt prs du corps cellulaire.

Pour former le systme nerveux, les neurones sont connects les uns aux autres suivant des

rpartitions spatiales complexes. La transmission entre deux neurones nest pas directe. En fait,

il existe un espace intercellulaire de quelques dizaines dAngstrom (10-9 m) entre laxone du

neurone et les dendrites dun autre neurone. La jonction entre deux neurones est appele la

synapse [1][3].


5/27



I .4 L e neurone formel

I .4.1 D finiti on

Le neurone formel est le modle mathmatique du neurone biologique. Il fait la sommepondre de ses entres, suivie dune non linarit (lment de dcision pour les classifieurs)

appele fonction dactivation ou fonction de seuil.

Les entres dun neurone sont soit des entres externes, soit des sorties dautres neurones [4].

Le schma dun neurone formel est donn par la figure (I.2)

Le choix de la fonction d'activation dpend de l'application [1].

I .4.2 Principe de fonctionnement

Lquation de sortie iO du neurone i est donne par :

ii LfO (I.1)

O

kioijkiji WEWL (I.2)

Les coefficients de pondration Wij sont appels coefficients synaptiques

Souvent, il y a un paramtre additionnel Wi0, ce terme est considr comme la valeur du seuilinterne du neurone [4].

2iW

inW

1iW

IL

0iW1iE

2iE

inE

+1

ii LfO

Entr e Poids

Sortie

Figure (I.2) Schma dun neurone formel

f


6/27



I.4.3Fonction dactivation

Cest une fonction prsente gnralement par une non linarit appele aussi fonction

de seuil. Elle permet de dfinir ltat interne du neurone en fonction de son entre totale

Les fonctions les plus souvent utilises sont reprsentes par la figure (I.3) [11].

(f) Fonction de stochastique

f

s

(b) Fonction sigmode Se

sf

1

1

f

ss

f

s

(a) Fonction linaire avec seuil

f

s

(c) Fonction a seuils multiples (d) Fonction sigmode S

S

e

esf

1

1

f

s

+1

-1


7/27



Toutes les fonctions dactivation utilises doivent tre diffrentiables, car larchitecture du

rseau de neurones limpose pour que lapprentissage soit possible [11].

I .5 Pr opr its des r seau x de neur ones

Lintrt port aujourdhui aux rseaux de neurones tient sa justification dans quelques

proprits intressantes quils possdent et qui devraient permettre de dpasser les limitations

de linformatique traditionnelle, tant au niveau programmation quau niveau machine [6].

I .5.1 L e paralllisme

Cette notion se situe la base de larchitecture des rseaux de neurones considrs

comme ensemble dentits lmentaires travaillant simultanment. Avec ltude du

fonctionnement des rseaux de neurones, on pourrait aboutir des nouvelles techniques de

formalisation de problme qui permettraient de les traiter en parallle [6].

I.5.2La capacit dadaptation

Celle-ci se manifeste par la capacit dapprentissage qui permet de tenir compte des

nouvelles contraintes ou des nouvelles donnes du monde extrieur. Certains rseaux se

caractrisent aussi par leur capacit dauto organisation qui assure leur stabilit en tant que

systmes dynamiques capables de tenir compte des situations non encore connues [6].

I .5.3 L a mmoire distr ibue

Dans les rseaux de neurones, la mmoire correspond une carte dactivation de

neurones. Cette carte est en quelque sorte un codage du fait mmoris ce qui attribue ces

+1

s

(e) Fonction de Heaviside

s

(g) Fonction linaire sans saturation

Figure (I.3) Les diffrentes formes de la fonction dactivation


8/27



rseaux lavantage de rsister aux bruits (pannes) car la perte dun lment ne correspond pas

la perte dun fait mmoris [6].

I .5.4 L a capaci tde gnral isation

Cette capacit est important surtout dans le cas o la constitution de recueils dexpertise

pour un systme expert devient difficile (reconnaissance intuitive ou implicite). Les rseaux

neuronaux peuvent apprendre retrouver des rgles partir des exemples [6].

I .6 Archi tectur es des rseaux de neurones

Il existe deux grands types darchitectures de rseaux de neurones :

Les rseaux statiques non rcurrents et les rseaux dynamiques rcurrents [4].

I .6.1 L es rseaux statiques

Dans un rseaux statique ou non rcurrent , la sortie dun neurone ne peut pas tre

injecte ni directement son entre ni indirectement travers dautres neurones ; cest - dire

quune sortie courante na aucune influence sur les sorties futures . Dans ce cas, la sortie du

rseau est obtenue directement aprs lapplication du signal dentre linformation circule

dans une seule direction ; de lentre vers la sortie.

Les rseaux statiques ralisent des transformations non linaires de la forme :

][xfY OumRx et

nRY , m et n sont les dimensions du vecteur dentre x et du

vecteur de sortie Y respectivement.

Les neurones qui ne sont pas des sorties du systme sont appels neurones cachs

(neurones invisibles dans la sortie). dans larchitecture la plus gnrale , lentre de chaque

neurone est connecte toutes les sorties des neurones prcdents mais , la plupart des

rseaux de neurones statiques utiliss , sont organiss en plusieurs couches de neurones ,

appels rseaux multi couches aux perceptrons multi couches.

Un rseau multi couches comporte : une couche dentre, une ou plusieurs couches

caches et une couche de sortie.

Dans un tel rseaux, la sortie de chaque neurone dune couche l est connecte lentre de

chaque neurone de la couche suivant l+1.

Larchitecture dun tel rseau est donne par la figure (I.4) [4].


9/27



I .6.2 L es rseaux dynamiques

Ces rseaux, appels aussi rseaux rcurrents, sont organiss de telle sorte que chaque

neurone reoit sur ses entres une partie ou la totalit de ltat du rseau (sortie des autres

neurones) en plus des informations externes. Pour les rseaux rcurrents linfluence entre les

neurones sexerce dans les deux sens. Ltat global du rseau dpend aussi de ses tats

prcdents. Lquation du neurone, dans ce cas, est dcrite par des quations diffrentielles

ou aux diffrences. Un exemple de rseaux dynamiques est donn par la figure (I.5) [4].

I .7 Quelques modles des rseaux de neurones

Cette partie est consacre une prsentation des modles connexionnistes

incontournables. Ces modles refltent les diffrentes topologies des rseaux de neurones

dans le sens o la grande majorit des rseaux classiques [7].

Figure (I.5) Forme dun rseau boucl

Entre Sortie

Couche intermdiaire dite cache

Figure (I.4) Forme dun rseau non boucl


10/27



I .7.1 M odle de Kohonen

Le rseau de Kohonen est un rseau de neurones dont la particularit est dagir en tant

que compresseur de donnes, en conservant uniquement les informations caractrisant

Lobjet prsent au rseau sans perte importante dinformation. Une limination des

Paramtres corrls seffectue. En effet, sa capacit de conservation topologique permet une

rduction des donnes de lentre selon le nombre de neurone formant le rseau [5].

Ce modle a t prsent par Kohonen en 1982 en se basant sur des constatations biologiques

Il a pour objectif de prsenter des donnes complexes et appartenant gnralement une

espace discret de grandes dimensions dont la topologie est limite une ou deux dimensions.

Les cartes de Kohonen sont ralises partir dun rseau deux couches, une en entre etune en sortie.

Notons que les neurones de la couche dentre sont entirement connects la couche de

sortie figure (I.6) [13].

Les neurones de la couche de sortie sont placs dans un espace dune ou de deux

dimensions en gnral, chaque neurone possde donc des voisins dans cet espace. Et enfin

chaque neurone de la couche de sortie possde des connexions latrales rcurrentes dans sa

couche. Le neurone inhibe les neurones loigns et laisse agir les neurones voisins.

I .7.2 M odle de H opfield

Les modles de Hopfield reprsentent une architecture plus historique que pratique. Ils

sont importants car apparus un tournant de l'histoire du connexionnisme. Ils sont considrs

comme la base de son redmarrage. En revanche ils ne sont quasiment plus utiliss dans leur

Figure (I.6) Le modle de Kohonen

X1

X2

Xn

S1

S2

Sn


11/27



version de base en raison de leur cot en terme de temps de calculs et de leurs relativement

faibles performances [7].

I .7.2.1 L 'ar chitectur e

Les modles connexionnistes de Hopfield sont constitus de neurones formels de type

Mc Culloch et Pitts, totalement connects entre eux. Tous les neurones de cette architecture

sont la fois neurone d'entre et neurone de sortie du rseau. La spcificit de ce rseau

rside dans une recherche permanente, pour chacun des neurones du rseau, d'un tat stable

[7].

Formellement, comme la montre la figure (I.7), un rseau de Hopfield est un rseau

rcurrent, chacun des neurones du rseau tant connect tous les autres, mais pas lui-

mme. Les neurones disposent de sorties binaires (+1 ou -1), et les interconnexions entre les

neurones sont symtriques (Pour tous les neurones i et j, wij = wji) [7].

Un neurone est li tous les autres, les liaisons sont symtriques, un neurone n'est pas li

lui-mme et un seul neurone est actualis par itration. Chaque neurone est la fois neurone

d'entre et de sortie du rseau [7].

On-1O2O1 On

S1 S2 Sn-1

Sn

XnX1 X2 Xn-1

Figure (I.7) Rseau de Hopfield


12/27



I .7.3 Le Perceptron

Le Perceptron a t dvelopp par Roseblatt en 1950 pour rsoudre, laide des

neurones de Mc Culloch et Pitts, les problmes de la vision humaine.

I .7.3.1 Stru cture du Perceptron

Larchitecture gnrale dun Perceptron comme dcrit en figure (I.8) comprend trois

lments principaux :

I .7.3.1.1 Rti ne

La premire couche, compose de la rtine, comprend plusieurs cellules qui jouent le

rle de capteurs. Elle reoit les exemples ou formes classer. Chaque lment de la rtine

peut tre considr comme un pixel prenant des valeurs binaires 1 et 0

I .7.3.1.2 Couchedassociation

La deuxime couche dassociation est compose de cellules associatives qui sont

connectes totalement ou de faon alatoire aux cellules de la rtine, Ces cellules

dassociations Aj sont dotes de faons dassociation h qui peuvent par exemple raliser des

fonctions boolennes ou bien utiliser des fonctions linaires. Dans le perceptron, les

fonctions hi, i=1,2,.N sont dtermines lavance et elles restent fixes pendant la phase

dapprentissage. La sortie Xj de la cellule dassociation Aj est transmise la cellule de

dcision de Pi aprs avoir t pondre par le coefficient ajustable Wij,

I .7.3.1.3 Couche de cell ul e de dcision

La cellule de dcision est un automate seuil de fonction de transfert fi qui dlivre la

sortie binaire Si. La combinatoire de toutes les configurations possibles est presque infinie si

lon influe sur les connexions et la nature des fonctions fet h [11][15].

Figure (I.8) Schma dun Perceptron

Rtine Couche dassociation

Couche de dcision


13/27



I .7.4 M odle Adali ne

Au dbut des annes 60 B. Widrow et M.E. Hoff ont propos un systme adaptatif

quils ont appel Adaline (de langlais ADAptive LINear Element)

La structure de lAdaline diffre du perceptron par lutilisation dune seule cellule

dassociation et lutilisation dune fonction de seuil diffrent de celle de Heaviside (-1 et t+1).

De plus, il utilise un algorithme adaptatif pour mesurer lcarte entre la sortie relle et la

sortie du processeur lmentaire. Le schma de lAdaline est reprsent en

figure (I.9). Le plus souvent, les entres sont binaires et la rponse souhaite est galement

binaire

LAdaline est le seul rseau de neurones artificiels utilis massivement dans lindustrie, Ce

circuit est en effet utilis dans la tlcommunication pour amliorer le signal sur bruit en

prenant en compte la variation de limpdance des diffrentes lignes tlphoniques [11].

I .8 A pprentissage des rseaux de neur ones

On peut considrer les rseaux de neurones comme une boite noire contenant

linformation quelle doit apprendre et mmoriser. Mais au dmarrage lorsquon choisit notre

rseau, la boite noire est vide et ne contient aucune information, ni aucune connaissance sur

son sujet, cest pourquoi un apprentissage est ncessaire. Lenseignement que doit subir le

Figure (I.9) Schma de principe de ladaline

S

Nj

j

jjXWS0

Y

Yd Sortie dsi re

Rgledapprentissag

X0

X1

Xn

0W

1W

nW

+

Signal derreur

-


14/27



rseau de neurones est un apprentissage qui est une phase du dveloppement d'un rseau de

neurones durant laquelle le comportement du rseau est modifi jusqu' l'obtention du

comportement dsir. L'apprentissage neuronal fait appel des exemples de comportement

Lapprentissage des rseaux de neurones consiste adapter ses diffrents paramtres(poids) daprs un algorithme itratifdajustement ou dadaptation lui permettant de prendre

en considration toutes les donnes (exemples) qui lui sont fournies son entre et ainsi

ajuster ses paramtres pour trouver le juste milieu permettant de prendre en charge nimporte

quel exemple ou donne apparaissant son entre provenant de son environnement [1][2].

Les algorithmes dapprentissages donnent des meilleurs rsultats lorsquon leur fournit des

exemples multiples et varis ; ainsi le rseau peut assimiler toutes les connaissances. Il existe

diffrente rgles dapprentissage parmi les quelles on peut distinguer [1]:

- la rgle de Widrow-Hoff, la rgle de Hebb, la rgle du perceptron et la rgle de

Grossberg, etc...

I .8.1 Apprentissage supervis

Les rseaux multicouches avaient dj t dfinis par Rosenblatt, mais on ne savait pas

comment faire lapprentissage. Avec la dcouverte de lalgorithme de rtropropagation de

lerreur (RP) par Rumelhart, on a commenc faire de lapprentissage des rseaux de

neurones multicouches partir dexemples. Cette mthode de dtermination des poids est

appele apprentissage supervis [8].

L'apprentissage supervis, repose sur le fait que les exemples sont des couples (entre,

sortie dsirer). Cest dire que lon suppose lexistence dun expert qui prend en charge la

sortie de notre rseau en lui fournissant une sortie dsire et les associes aux sorties relles

fournies par le rseau daprs les donnes lentre. Le rseau adapte ses paramtres en

fonction de la diffrence qui existe entre la sortie relle et la sortie dsire en prenant compte

de tous les exemples de lenvironnement [1][2].


15/27



I .8.2 Apprentissage non supervis

La diffrence majeure entre lapprentissage supervis et non supervis peut tre rsume

dans le fait que le deuxime type dapprentissage est autodidacte qui na pas besoin dexpert

pour le guider adapter ses paramtres quil ne dispose que des valeurs entre. Remarquons

cependant que les modles dapprentissage non supervis ncessitent avant la phase

d'utilisation une tape de labellisation effectue par l'oprateur, qui n'est pas autre chose

qu'une part de supervision [1][2].

I .9 L e Per ceptr on multi couche

Comme nous lavons dj dit le cerveau humain est compos de millier et des milliers

de neurones, alors il est vident quun simple neurone et seul ne peut rien faire lui tous seul

il lui faut la coopration dautres neurones. En suivant ce rsonnement il est vident quil

vaut trouver une architecture qui relie les neurones entre eux, qui cre une liaison entre lesneurones pour crer un rseau de neurones.

Rseaux deneurones

Superviseur

Erreur

Figure (I.10) Illustration de lapprentissage supervis

SortieRseaux de

neurones

Figure (I.11) Illustration de lapprentissage non supervis


16/27


17/27



I .10 M thode de rtr opr opagation

La rtropropagation est actuellement loutil le plus utilis dans le domaine des rseaux

de neurones. Cest une technique de calcul des drives qui peut tre applique nimporte

quelle structure des fonctions drivables [4].

Lanne 1986 a vu lapparition de lalgorithme de rtropropagation de lerreur publi par

Rumelhart, Hinton et Williamsrreur qui permet doptimiser les paramtres dun rseau de

neurones plusieurs couches [1].

I.10.1 Introduction

Le dveloppement dalgorithmes dapprentissage supervis pour les rseaux

multicouches se heurte au problme de calcul des erreurs de sortie pour les neurones cachs.

En effet, les neurones cachs nont pas un rle prdfini, cest lapprentissage qui les

utilise sa convenance pour former des reprsentations internes, cause de labsence dune

rgle dapprentissage convenable, les perceptrons taient limits une seule couche pendant

plusieurs annes, mais ce type de perceptron ne peut rsoudre que les problmes dont les

donnes sont linairement sparables. Les limitations du perceptron ont t leves par la

dcouverte de lalgorithme de rtropropagation qui a permis de rsoudre le problme de

calcul des erreurs associes aux neurones cachs. Les applications de cet algorithme ont

connu un succs spectaculaire et ses performances taient quelques fois surprenantes.

Malgr sa complexit apparente, la mthode de rtropropagation nest quune technique

simples mais efficace de calcul des drives dune entit par rapport l ensemble de ses

entres. Elle peut tre applique nimporte quel systme compos de plusieurs sous-

systmes lmentaires qui peuvent tre reprsents par des fonctions connues, continues et

drivables [4].

I .10.2 Equati ons du rseau

Avant de dfinir la rgle dapprentissage, on doit dfinir la relation entre les sorties du

rseau, dune part, et les entres et les poids dautre part. On considre dans ce qui suit les

rseaux non rcurrents multicouches.


18/27



Pour un rseau multicouches M entres et N sorties, compos de L couches (couches

caches et couche de sortie), les tats des neurones sont donns par les quations suivantes :

1

0

1 )(kn

j

k

j

k

ij

k

i tOWS i = 1,2, kn ; k= 1,2,L (I.4)

Avec :

1)(0 tOk k=0, 1,2, L (I.5)

)()(0 tXtO ii i = 1,2,, m (I.6)

)()( tOtyL

ii i =1,2,, n (I.7)

1

0

1 )()()(kn

j

k

j

k

ij

kk

i

kk

i tOWftSftO (I.8)

Avec pour la couche k : fk (.) est la fonction dactivation, nkest le nombre de neurones,k

iO (t)

est la sortie du neurone i, kijW est le coefficient synaptique de la connexion entre le neurone i

de la couche k et le neurone j de la couche prcdente (k-1). kiW0 est le seuil adaptable du

neurone i . iY (t) et iX (t) sont les iemes composant es du vecteur dentrex (t)

Et du vecteur de sortie Y(t) respectivement.

La fonction dactivation gnralement choisie est la fonction sigmode :

F(x) =x

x

e

e

1

1(I.9)

I .10.3 Princi pe du r tr opropagation

Lobjectif de la mthode de rtropropagation est dadapter les paramtres kijW de faon

minimiser la valeur moyenne de lerreur sur lensemble dentranement. La fonction cot la

plus utilise est donne par :

T

t

dT

t tYtYtEE 1

2

1 )]()([2

1

)(2

1

(I.10)


19/27



O dY est le vecteur de sortie dsire, Y le vecteur de sortie du rseau et T la longueur de

lensemble dapprentissage. Cependant, dans quelques situations dautres critres derreur

peuvent tre plus appropris. Lapproche la plus utilise pour la minimisation de la fonction

Eest base sur les mthodes de gradient.

On commence lentranement par un choix alatoire des valeurs initiales des poids. On

prsente le premier vecteur dentre. Une fois la sortie du rseau, lerreur correspondante et

le gradient de lerreur par rapport tous les poids est calcule, les paramtres sont ajusts

dans la direction oppose celle du gradient de lerreur. On refait la mme procdure pour

tous les exemples dapprentissage. Ce processus est rpt jusqu ce que les sorties du

rseau soient suffisamment proches des sorties dsires.

I .10.4 Adaptation des poids

Pour un ensemble de poids donn, il est facile de calculer la sortie )(tY et lerreurE(t)

correspondant une entre X (t), en utilisant les quations (I.4)-(I.10). Les paramtres du

rseau sont alors ajusts par la mthode de gradient en utilisant la formule itrative :

)()1()( nWnWnW kijkijkij (I.11)

)()(

nW

EnW

k

ij

k

ij

(I.12)

Ou est un constant appel facteur ou pas dapprentissage. n Est le numro de litration.

La vitesse de convergence dpend de la constant .

Sa valeur est gnralement choisie exprimentalement. Si est trop petit la convergence est

lente mais la direction de descente est optimale. Si est trop grand la convergence est

rapide mais la prcision est mdiocre, un phnomne doscillation intervient ds quon

approche du minimum. La drive de lerreurE par rapport au poids )(nWkij est donne par :

T

tk

ij

k

ij nW

tE

nW

E

1 )(

)(

)(

(I.13)


20/27



Avec

)()()(

)( 1 tOtnW

tE ki

k

ik

ij

(I.14)

O )(tki est lerreurquivalente la sortie du neurone i de la couche k, pourles neurones des

couches de sortie :

)]()()][([')( 111 tYtYtSft id

iii (I.15)

Pour les neurones des couches caches :

1

1

11 )()()]([')(kn

j

k

ij

k

j

k

i

kk

i nWttSft (I.16)

Pour minimiser lerreur totale E sur lensemble dentranement, les poids du rseau doivent

tre ajusts aprs la reprsentation de tous les exemples. Cependant on peut ajuster les poids

aprs la reprsentation de chaque exemple, les corrections sont assez faibles et la

minimisation de E (t) est une bonne approximation de la minimisation de E, lquation (I.12)

est remplace par :

)(

)()(

nW

tEnW

k

ij

k

ij

(I.17)

Alors on :

1)()1( kik

i

k

ij

k

ij OnWnW (I.18)


21/27



I.10.5 Algorithme

Etape 1: Initialiser les poids ijW et les biais des neurones des petites valeurs alatoires.

Etape 2: Prsenter le vecteur d'entre et de sortie dsirs correspondants.Etape 3: Calculer :

1- La somme des entres des neurones d'une couche cache : Eq.(I.4).

2- Les sorties des neurones de la couche cache : Eq.(I.8).

3- La somme des entres de la couche de sortie : Eq.(I.4).

4- Les sorties du rseau : Eq.(I.8).

Etape 4: calculer :

1- Les termes de lerreur pour les neurones de la couche de sortie : Eq.(I.15)

2- Les termes de lerreur pour les neurones de la couche cache : Eq.(I.16)

Etape 5 : Ajuster :

1- Les poids de la couche de sortie et la couche cache: Eq.(I.18)

Etape 6 : Si la condition sur l'erreur ou sur le nombre d'itration est atteinte, aller l'tape 7,

si non revenir l'tape 3 jusqu' la stabilisation du systme.

Etape 7 : Fin.

I.10.6 Techniques dacclration de la r tr opropagation

Si bien que lalgorithme de rtropropagation soit lalgorithme le plus utilis pour

lapprentissage supervis des rseaux multicouche son implantation se heurte aux plusieurs

difficults techniques. Il nexiste pas de mthodes permettant de :

- Trouver une architecture approprie (nombre de couches caches, nombre de neurones

cachs et connexions).

- Choisir une taille et une qualit adquate des exemples dentranement, choisir des valeurs

initiales satisfaisantes pour les poids, et des valeurs convenables pour les paramtres

dapprentissage (facteur dapprentissage) permettant dacclrer la vitesse de convergence.

- viter les effets de lentranement (dgradation des performances due un entranement

prolong) et la convergence vers un minimum local.

Pour trouver une architecture approprie (nombre de neurones cachs), Ash a propos une

approche daddition interactive de neurones dans la quelle on ajoute des neurones aux couches

caches pendant lapprentissage. Un neurone est ajout chaque fois que lerreur se stabilise


22/27



un niveau inacceptable. Cette technique sappelle la technique de cration dynamique de

neurones (DNC : Dynamic Node Creation).

Pour viter le problme des oscillations, beaucoup dauteurs modifient lalgorithme en lui

ajoutant un moment

La loi dadaptation devient :

)()()()1( nWnWnWnW kijk

ij

k

ij

k

ij (I.19)

))1()(()()1( 1 nWnWOnWnW kijk

ij

k

i

k

i

k

ij

k

ij (I.20)

Avec

10

I .11 Le mini mum l ocal

Le fait que l'apprentissage utilise un principe de descente de gradient sur la surface

d'erreur pour modifier les poids. Malheureusement il est possible de tomber dans desminimums locaux. Le rseau de neurones est une mthode qui se base sur le calcul de la

surface derreur. La forme obtenue daprs lquation de lerreur est sous forme dune

convexe et en cherchant minimiser lerreur, la solution tend vers le minimum. Le problme

qui se pose dans ce cas, cest quil peut y avoir un ou plusieurs minimum s locaux induisant

ainsi notre rseau en erreur [9][10][16] vue que si on a deux rseaux avec les mme

paramtres, il se peut que lapprentissage de lun soit meilleur que celui du second [9].

Des mthodes sont suivre afin dviter les minima locaux :

- Modifier le pas dapprentissage du rseau pour pousser le rseau hors des minima locaux.

- Rduire les poids du rseau par une petite quantit chaque pas dapprentissage.

Lactivation dun neurone sature quand ses liens possdent de trop grands poids synaptiques.

Ce problme est difficile rsoudre lors de lapprentissage, car les valeurs dactivation

extrmes se traduisent souvent au niveau de la rtro-propagation par de petites corrections. Le

rseau se trouve alors dans un minimum local. Rduire systmatiquement tous les poids par

une petite valeur chaque correction contribue garder les petits poids synaptiques, et peutrsoudre ce problme.


23/27



- Relancer lapprentissage plusieurs fois en utilisant des poids initiaux diffrents, ce qui

entrane un temps de calcul plus lev [12].

- Ajouter une dose de bruit alatoire aux poids du rseaux, puis relancer lapprentissage,

dans le but de dloger le rseau hors de bassins peu profonds [8][12][13].

I .12 Quelques appl ications des r seaux de neurones

Les proprits dapplication et dapproximation des rseaux de neurones ont permis une

importante application de ces derniers dans les diffrentes domaines pratiques, notamment, les

domaines suivants :

I .12.1 Classif ication des signaux

Classer des signaux dans des catgories diffrentes en fonction des caractristiques de

forme (amplitude, frquence, phase, etc...), peut tre ralis aisment par lutilisation d'un

rseau de neurones.

Supposons qu'on a deux catgories de signaux A et B et qu'on souhaite classer des formes

dans ces deux catgories en fonction des caractristiques de ces formes.

On peut simplement dfinir la fonction non linaire F qui vaut +1 pour les formes de la

classe A et -1 pour celles de la classe B, le problme de classification revient lapproximation

Minimumglobal

dpart alatoire des wi

Minimumlocal

Figure (I.13) Courbe explicative du phnomne du minimum local

Fonction derreur


24/27



de la fonction non linaire F qui peut tre rsolue par un rseau de neurones qui possde des

entres et une seule sortie pour fournir la dcision [15].

I .12.2 Applications industri ell es

Les dbouchs commerciaux des techniques neuronales (en chiffre daffaires ou en parts

de march) se trouvent surtout dans des produits logiciels et matriels dusage gnral, et plus

encore dans des prestations de service, alors que la part usage interne des entreprises (cest-

-dire les dveloppement destins amliorer des mthodes ou des produits) est beaucoup

plus difficile estimer. La part de march des applications militaires est importe, et on peut

lestimer approximativement (avec prudence, tant donn que les informations sont

incertaines) entre un tiers et la moiti de lensemble.

Il est difficile de dresser un panorama exhaustif des applications des rseaux de neurones,

pour plusieurs raisons. Dune part, les applications potentielle de certains types de rseaux

dcrits dans ce chapitre (en particulier les rseaux multicouches) sont si vastes et si diverses

quelles recouvrent des domaines trs varis, ayant par ailleurs peu de choses en commun.

Dautre part, la pntration des techniques utilisant les rseaux de neurones, seuls ou en

association avec dautres techniques, est trs ingale, et se trouve dans une phase dexpansion

et de diversification. Enfin, beaucoup des ralisations connues sont plus souvent dans un tat

de prototype quen exploitation vritable.

Plutt que de procder une numration dexemples prcis dont la viabilit et lutilisation

relle peuvent tre incertaines ou imprcises, il nous a sembl plus appropri de tenter une

prsentation sommaire en suivant grossirement deux axes diffrents : par classe

dapplication, en premier lieu, par domaine dactivit ensuite [16].

Dans le monde, et en particulier aux U.S.A., lintrt pour les rseaux de neurones a

dmarr plus tt. Ds 1986, de 600 2000 visiteurs participent aux quelques grands congrsannuels. Au niveau commercial, la figure (I.14) montre que plus de 200 compagnies sont

aujourdhui impliques dans des dveloppements dapplications connexionnistes [1].


25/27



I .12.2.1 Reconnai ssance de formes statiques

Citons en premier lieu la reconnaissance de formes statiques (cest--dire indpendantes

du temps). De faon gnrique, une forme est tout ensemble de grandeurs qui peut se

reprsenter par un vecteur, ayant des composantes homognes ou non. Par exemple, une

image peut tre mise sous forme dune succession de pixels, rsultant dun balayage, ou bien

un cho sonar peut tre reprsent par une succession de pics frquentiels en fonction de

linstant de retour, etc. le traitement dimages proprement dit fait videment partie intgrante

de la reconnaissance de formes en gnral. Des applications civiles (par exemple

reconnaissance de visages) aussi bien que militaires (reconnaissance de cibles) ont t dcrites

avec plus ou moins de dtails. Une des applications les plus tudies consistes dans la

reconnaissance de signes manuscrits, en particulier les chiffres, en vue de la reconnaissance de

codes postaux. Les laboratoires AT & T de Holmdel ont mis au point un systme assez

complexe, mais efficace, dont le cur est un rseau cinq couches poids partags, prcd

dun systme de prtraitement et de normalisation. Une partie de ce rseau est constitue par

un circuit intgr spcialement conu, contenant quatre des cinq couches, et 130 000

connexions. Les performances atteignent 1000 caractres par seconde pour la puce seule, bien

suprieure celles du systme complet, et slvent seulement 20 caractres par seconde

pour une implantation sur un processeur plus gnraliste. Dautres ralisations (accompagnes

ou non de circuits intgrs spcifiques) ont t annonces dans le domaine de la lecture

automatique de caractres imprims, en alphabet romain comme en alphabet japonais [16].

1960 1985 1987 Anne

Figure (I.14) Evolution du nombre de compagnies proposant

des produits connexionnistes


26/27



I .12.2.2 I denti fi cation et commande de processus

Lidentification et la commande de systmes complexes (incluant la robotique) sont un

domaine o les rseaux de neurones prennent une place croissante : aide au pilotage de

racteurs chimiques ou de colonnes distiller, commande dune automobile sans pilote ayant

pour consigne de suivre une certaine trajectoire en terrain accident, commande de niveau de

lingotire dans une acire coule continue, les applications se multiplient. En gnral, elles

ne demandent que des ressources assez modestes, dans la mesure o les temps caractristiques

sont relativement longs : une simple simulation sur micro-ordinateur suffit trs souvent en

phase dexploitation, lutilit des rseaux de neurones se mesure galement dans ce domaine

par lassez grande rapidit de mise en uvre initiale, cest--dire lidentification par

apprentissage.

Mentionnons que les techniques de commande logique floue peuvent faire appel aux

rseaux de neuronespour lapprentissage des rgles [16].

I .12.2.3 Appli cation mil itair es

Bien que naturellement les publications soient relativement rares et que peu de dtails

soient donns, les applications militaires classiques se retrouvent en reconnaissance decibles, analyse dimage, traitement de signaux radar ou sonar, et dans une certaine mesure en

robotique. Le dernier circuit intgr dIntel (qui est un acclrateur de reconnaissance ,

selon ses propres termes) a t financ pour moiti sur crdits militaires, hauteur denviron

1,5 million de dollars $. Ce circuit implante une architecteur de type RBF (mesure des

distances entre stimulus prototypes), dveloppe par la socit Nestor [16].


27/27


I.13 Conclusion

A partir du comportement du cerveau humain et dun modle neuronal biologique

simple, les chercheurs ont arriv construire des modles neuronaux artificiels plus

complexes. Les rseaux de neurones prsentent donc une trs grande diversit, dans ce

chapitre nous avons expos les rseaux de neurones, en spcifiant leurs dfinitions, les

concepts de base de cette technique, lapprentissage des rseaux de neurones et ses diffrents

domaines dutilisation.

Nous avons prsent une tude sur lalgorithme du rtropropagation qui a prouv son

efficacit dans la pratique avec ses capacits dapprentissage et didentification.

Pour ces raisons, cet algorithme sera la base du travail qui sera prsent dans le prochain

chapitre qui traite lidentification et la commande par les rseaux de neurones.

Documents

unknown_Les_réseaux_de_neurones__