Un neurone élémentaire

Fauconnier Cécile

Informatique de Gestion

Université de Liège

Introduction

• Un réseau de neurones est un outil d'analyse statistique

• Définitions: - Un neurone est une fonction algébrique non

linéaire, paramétrée, à valeurs bornées- Un réseau de neurones est un ensemble fini de

neurones, c’est-à-dire un ensemble fini de fonctions algébriques non linéaires, paramétrées, à valeurs bornées.

Un neurone

fsortie

entrées

poids

Mise en oeuvre

• Mise en œuvre d'un réseau de neurones: – Définition de la structure du réseau– Détermination des paramètres qui définissent le

réseau– Phase de validation

Plan de l'exposé

• Problème posé et définitions conceptuelles

• Résolution pratique du problème et résultats

Le problème

• Données: Questionnaires éventuellement mal remplis et décisions pour chaque questionnaire

• Problème: extraire la prise de décision à l’aide de ces questionnaires pour pouvoir traiter tous les questionnaires de même type qui pourraient être remplis

Représentation

Abstraction du problème

A X

D

g'

g

Les données

• D: matrice de bits n X c

nb de questionnaires X nb de bits par questionnaire

• A chaque ligne de D correspond le bit donné par la valeur de g. Ces bits forment un vecteur colonne de bits, à n lignes: le vecteur R

Un neurone

• Un neurone réalise une fonction non linéaire bornée appelée fonction d’activation

y=f(e1,…eJ,w1,…,wJ) où les ej sont les variables et les wj les paramètres• Sortie du neurone:

• Les poids wj renforcent les liaisons, les annulent ou les diminuent.

)(),...,(1

1

c

iiic ewfeesortie )(),...,(

11

c

iiic ewfeesortie )(),...,(

11

c

iiic ewfeesortie

Fonction d’activation

• Choix: la fonction signe

1)sgn( x

Résolution du problème

• Résoudre le problème posé à l’aide d’un neurone dont la structure est définie, c’est déterminer les paramètres wj qui définissent ce neurone de telle manière que les valeurs de ce neurone approchent au mieux les valeurs de la fonction g de départ pour les différents questionnaires donnés.

Phase d’apprentissage

Résolution du problème

• Lorsque les paramètres wj seront déterminés, la fonction g’ cherchée sera définie par

Défaut du neurone

• Soit di un questionnaire caractérisé par les bits e1,…,ec. Le défaut pour ce questionnaire est donné par

Défaut d’un neurone

• Défaut du neurone

Apprentissage

• Définition:

Procédure qui consiste à estimer les paramètres des neurones du réseau, afin que celui-ci remplisse au mieux la tâche qui lui est affectée.

Méthode d’ajustement

• Choix de la méthode :

Poids aléatoiresw1,…,wc

Calcul du défaut

Changement de poids

On garde les poidsSi le défaut a diminué

Valeur de la méthode d’ajustement

• Le concept d’apprentissage n’est intéressant que si le réseau possède la capacité de généralisation.

• Deux méthodes:

- Ensemble d’apprentissage restreint afin d’avoir des exemples de vérification

- Comparaison au modèle aléatoire théorique

Elaboration pratique

• Problème concret:

- 11 notes sur 20 pour 99 étudiants

- Grade obtenu pour chaque étudiant

Question: un étudiant donné a-t-il une distinction ou non?

Transformation des données

• Notes ramenées sur 15

• Notes codées sur 4 bits• Grade1 bit : présence d’une distinction 1 absence d’une distinction -1 pas de décision 0 Au total, 45 bits par étudiant

Phase d’ajustement

• Procédé :

D, R,Poids aléatoires

w1,…,wc

Modification d’un poids à la fois

tant que le défaut diminue

Modification de 2 poids à la fois

tant que le défaut diminue

Modification de 3poids à la fois

tant que le défaut diminue

w1,…wc modifiés

Résultats

• Valeur du neurone pour un étudiant i donné

• Erreur initiale: 226• Erreur après modification de 1 poids à la fois : 56• Erreur après modification de 2 poids à la fois : 44• Erreur après modification de 3 poids à la fois : 36

Influence des poids initiaux aléatoires

• Grande influence des poids initiaux.• Défaut compris entre 20 et 56• Moyenne: 33.5 Ecart-type : 8.1

Validité de la méthode

• Deux méthodes:

- Ensemble d’apprentissage restreint afin d’avoir des exemples de vérification

- Comparaison au modèle aléatoire théorique

Méthode 1

• On enlève un étudiant de l’ensemble d’apprentissage.

• On effectue l’ajustement• On compare la valeur du neurone pour l’étudiant

retiré et la valeur réel

On réalise ces différentes étapes pour chaque étudiant de l’ensemble de départ et on peut constater le pourcentage d’erreur obtenu …34%

Déduction

• La méthode n’est pas sans faille

• Hypothèse:

- Influence des poids initiaux aléatoires

Résolution : Effectuer différents apprentissages pour ne pas être soumis aux choix initiaux …28% (5 ajustements)

Méthode 2

• Comparaison au cas théorique aléatoire

• Cas aléatoire

- Matrice aléatoire D de bits (-1,0,1)

(dim 99 x 45)

- Apprentissage

Résultats

• Erreur initiale: 184

• Erreur après modification de 1 poids à la fois: 106

• Erreur après modification de 2 poids à la fois: 80

• Erreur après modification de 3 poids à la fois: 60

Résultats (suite)

• Erreur jamais inférieur à 50• Moyenne:65.5 Ecart-type: 8.3

Construction d’un intervalle de confiance

• Test d’hypothèse: l’erreur obtenue reflète-t-elle le cas aléatoire?

• n : nombre de questionnaires

• c : nombre de questions par questionnaire

• D: matrice aléatoire de bits (dim. n x (c+1))

apprentissage, erreur finale

Test (suite)

• X: v.a. définie par le défaut obtenu à partir d’une matrice donnée

• Moyenne : m• Ecart-type: σ

Grand nombre de réalisations

Test (suite)

• Thm central-limite

• Intervalle de confiance unilatéral de la moyenne de la variable X, au niveau de confiance 1-α:

Neurones concurrents

• Solution apportée à l’influence des valeurs initiales des poids : mettre des neurones en concurrence

• 40 ajustements + vote majoritaire

Taux d’erreur: 23.23%

Autres tests sur les données

Variance des tests:

- Un étudiant est ajourné ou non

- Un étudiant obtient une satisfaction ou non

- Un étudiant obtient une grande distinction ou non

- Un étudiant obtient une plus grande distinction ou non

Résultats finaux

• Les pourcentages d’erreur sont équivalents peut importe le test considéré.

• Les grades de différents étudiants sont mal prédits.

• Certains sont difficiles à placer dans une classe ou l’autre

Conclusion

• Citons notamment que l'absence de justification pour le choix des paramètres et de la structure du réseau nous a conduit à travailler par essais et erreurs. Ceci ne remet pas en cause la validité de nos résultats mais nous ne pouvons affirmer avoir obtenu le plus haut degré de précision.

• Nous avons, dans cette étude empirique, mis en œuvre une technique relative aux réseaux de neurones. Seules quelques pistes ont été exploitées et nous n'excluons pas qu'il soit possible d'obtenir de meilleurs résultats. De plus, le caractère singulier et ponctuel de l'étude empirique ne nous autorise pas à tirer des conclusions générales.