Réseaux de neurones
Abdoulaye Baniré Diallo
6 mai 2009
Réseau de neurones (le principe)
Le neurone artificiel: perceptron tj = seuil de l’unité j
yi = signal d’entrée i
wij = poids du signal yi dans le neuron j
fj = fonction de transfert du neurone j
Frank Rosenblatt (1958)
Fonctions d’activation
Christine Decaestecker, ULB et Marco Saerens, UCL
Pourquoi un réseau de neurones Capacité de déduction d’informations dans des
données imprécises et bruitées
Capacité de déduire des relations qui sont complèxes pour l’humain et d’autres techniques informatiques
Un expert des données avec lesquelles il a été entraîné
Utile pour faire des projections et des suppositions
Pourquoi un réseau de neurones (Caractéristiques) Apprentissage adaptative
Auto-organisation
Opération en temps réel
Tolérance aux fautes
Réseau de neurones vs programmation habituelle Le réseau de neurones peut prendre différentes
approches pour résoudre un problème
Si les étapes spécifiques de résolution du problème ne sont pas connus alors on ne peut utiliser la programmation classique
Le réseau de neurones peut résoudre un problème que l’humain ne sait pas comment le faire
Les deux approches doivent être complémentaires
Réseau de neurones (applications) Reconnaissance de la parole Reconnaissance des formes Prévision météo Prédiction des marchés financiers Évaluation de crédits En médecine et bioinformatique
Modélisation et diagnostic des systèmes cardiovasculaires Médecin instantanné Prédiction des structures protéiques Classification des expressions de gènes…..
Modélisation de la structure protéique PROF - Secondary Structure Prediction System
http://www.aber.ac.uk/~phiwww/prof/
COUDES: Prédiction de beta-turns dans la séquence http://bioserv.rpbs.jussieu.fr/Coudes/COUDES.html
http://www.netasa.org/
GANN :Genetic Algorithm Neural Networks for Regulatory Region Identification http://bioinformatics.org.au/gann/
Oxford Protein Analysis Linker (OPAL)http://www.oppf.ox.ac.uk/bioinformatics.php
Questions Quelles données fournir au réseau? Quel résultat attendre? Comment coder?
Les entrées Les sorties
Structure du réseau Connexions (graphe) Calculs des paramètres Design initial et apprentissage
Comportement diverses
Fabrice Rossi : http://apiacoa.org/contact.html
Comportement diverses
Fabrice Rossi : http://apiacoa.org/contact.html
Comportement diverses
Fabrice Rossi : http://apiacoa.org/contact.html
Comportement diverses
Fabrice Rossi : http://apiacoa.org/contact.html
Comportement diverses
Fabrice Rossi : http://apiacoa.org/contact.html
Comportement diverses
Fabrice Rossi : http://apiacoa.org/contact.html
Problème classique: classification
Fabrice Rossi : http://apiacoa.org/contact.html
Problème classique: classification
Fabrice Rossi : http://apiacoa.org/contact.html
Problème classique: classification
Fabrice Rossi : http://apiacoa.org/contact.html
Problème classique: classification
Fabrice Rossi : http://apiacoa.org/contact.html
Problème classique: classification
Fabrice Rossi : http://apiacoa.org/contact.html
Problème de la classification non linéaire (XOR)
Exercice: Trouver la sortie pour (X1 = 1 et X2 = 1) et (X1 = 1 et X2 = 0)
Classification des réseaux
Fabrice Rossi : http://apiacoa.org/contact.html
Réseau de neurones (Architecture)
Réseau de neurones (Architecture)
Christine Decaestecker, ULB et Marco Saerens, UCL
FeedForward Retro propagation
Architecture FeedForward Graphe biparti complet
Le nombre de couches cachées et leurs tailles sont fonction de la complexité du problème
Une des architectures les plus utilisées
Multilayer perceptron
Apprentissage: Retropropagation Apprentissage supervisé1. Initialiser tous les poids entre -1.0 et +1.0 2. Initialiser l’ensemble d’entrée par des valeurs binaires
1. Multiplier les poids qui conduisent à chaque neurone par les valeurs de sortie des neurones précédents
2. Sommer les valeurs3. Donner le résultat à la fonction d’activation4. Répéter jusqu’au perceptron de sortie
3. Comparer le patron de sortie et le comparer au patron désiré et calculer l’erreur associé
4. Changer tous les poids pour tenir compte de l’erreur5. Répéter (2) jusqu’à ce que l’erreur soit 0 pour tous les patrons
de sortie
Critères d’apprentissage Ensemble de données (training/learning set) Sorties désirées dans les problèmes supervisés Critère de performance
Minimiser les moindres carrés (supervisé)
Maximiser un critère de vraisemblance (supervisé)
Méthodes d’optimisation basées sur la descente du gradient
Processus d’apprentissage Recouvrement associatif : apprendre à produire un patron
particulier sur les entrées auto-association: association entre un patron d’entrée et un ensemble
d’états hetero-association: association avec d’autres patrons d’entrée
nearest-neighbour Rappel interpolé
Détection de régularité: apprendre à distinguer les propriétés particulières
Réseau fixe vs Réseau adaptatif
Remarques Bootstrap, validation croisée
Gros et couvrant l’ensemble des résultats attendus Équilibrée (non biaisée) Représentatif de la base de données considérée
!! Overfitting Même validation que les HMM Architectures complexes
Réseaux Radial Basis Functions Réseaux de prototypes
Évaluation : spécificité, sensibilité …
Wisconsin Prognostic Breast Cancer (WPBC) Number of instances: 198 Number of attributes: 34 ID, outcome, 32 real-valued input features 1) ID number 2) Outcome (R = recur, N = nonrecur) 3) Time (recurrence time if field 2 = R, disease-free time if field 2 = N) 4-33) Ten real-valued features are computed for each cell nucleus:
a) radius (mean of distances from center to points on the perimeter) b) texture (standard deviation of gray-scale values) c) perimeter d) area e) smoothness (local variation in radius lengths) f) compactness (perimeter^2 / area - 1.0) g) concavity (severity of concave portions of the contour) h) concave points (number of concave portions of the contour) i) symmetry j) fractal dimension ("coastline approximation" - 1)
34) Tumor size - diameter of the excised tumor in centimeters 35) Lymph node status - number of positive axillary lymph nodes observed at time of surgery
Missing attribute values: Lymph node status is missing in 4 cases. 9. Class distribution: 151 nonrecur, 47 recur
Étude de cas
Sites de liaison pour des facteurs de transcription
Problème Étant donnée la région instigatrice (promoter)
d’un gène (~1000bp) Trouver: Quels sons les facteurs de
transcription qui sont liés dans cette région?