Upload
ludivine-tardy
View
105
Download
1
Embed Size (px)
Citation preview
Christophe Raymond 1/32
LES RESEAUX DE NEURONES
Christophe Raymond 2/32
SOMMAIRE
• IntroductionPourquoi les réseaux de neurones?
• Différents types de réseauxRéseaux bouclés et réseaux non bouclés
• Notion d’apprentissageApprentissage supervisé et non superviséRègles d’apprentissages
• Intelligence Artificielle sur Silicium
• Conclusion
Christophe Raymond 3/32
Pourquoi les réseaux de neurones?
Caractéristiques de l’architecture du cerveau humain:
– une architecture massivement parallèle– une capacité d'apprentissage– une capacité de généralisation– une capacité d'adaptation– une faible consommation énergétique
Christophe Raymond 4/32
Qu’est ce qu’un processus d’Intelligence Artificielle ?
• Un cerveau humain contient environ 1012 cellules de
décision. • Le meilleur processeur en intègre actuellement 1024.• Un circuit logique programmable peut en coder ~ 50.
C’est un processus qui « imite » le mode de fonctionnement parallèle du cerveau humain.
Christophe Raymond 5/32
Le neurone biologique
• Dendrites : Signaux d’entrée• Axone : Signal de sortie
Christophe Raymond 6/32
Neurone formel: le modèle Mc Culloch et Pitts
Un "neurone formel" (ou simplement "neurone") est une fonction algébrique non linéaire et bornée, dont la valeur dépend de paramètres appelés coefficients ou poids.
Les variables de cette fonction sont habituellement appelées "entrées" du neurone, et la valeur de la fonction est appelée sa "sortie".
Christophe Raymond 7/32
Fonctions de transfert (ou fonctions d’activation)
Christophe Raymond 8/32
Différents types d’architecture de réseaux de neurones
Christophe Raymond 9/32
Réseaux bouclés
Un réseau de neurones bouclé à temps discret est régi par une (ou plusieurs) équations aux différences non linéaires, résultant de la composition des fonctions réalisées par chacun des neurones et des retards associés à chacune des connexions.
Les réseaux de neurones bouclés sont utilisés pour effectuer des tâches de modélisation de systèmes dynamiques, de commande de processus, ou de filtrage.
Christophe Raymond 10/32
Réseaux « non bouclés » ou réseaux à couches
Un réseau de neurones non bouclé réalise une (ou plusieurs) fonctions algébriques de ses entrées, par composition des fonctions réalisées par chacun de ses neurones.
Les réseaux de neurones non bouclés sont des objets statiques si les entrées sont indépendantes du temps, les sorties le sont également.
Ils sont utilisés principalement pour effectuer des tâches d'approximation de fonction non linéaire, de classification ou de modélisation de processus statiques non linéaires.
Christophe Raymond 11/32
Notion d’apprentissage
Christophe Raymond 12/32
DéfinitionL ’apprentissage est une phase du développement
d’un réseau de neurones durant laquelle le comportement du réseau est modifié jusqu’à l’obtention du comportement désiré.
On distingue deux grandes classes d’algorithmes d’apprentissage :
– L’apprentissage supervisé– L’apprentissage non supervisé
Christophe Raymond 13/32
Apprentissage supervisé
superviseur
réseau
sortie désirée
sortie obtenue
erreur
EN
TR
EE
S
Christophe Raymond 14/32
Apprentissage non supervisé
réseau sortie obtenue
EN
TR
EE
S
Christophe Raymond 15/32
Règles d’apprentissage
L’apprentissage consiste à modifier le poids des connections entre les neurones.
Il existe plusieurs règles de modification : – Loi de Hebb – Règle de Widrow-Hoff (delta rule)– Règle de Grossberg
i jWij
Christophe Raymond 16/32
Loi de Hebb :
Quand 2 neurones sont excités en même temps, le lien entre les 2 doit être renforcé.
Comment cette loi va t'elle s'exprimer formellement ?L'apprentissage se fait au moyen d'un ensemble de couples (x, d).
wi,j’ = wi,j + µ * (yj * yi)
j iwij
Règles d’apprentissage
Algorithme:.On initialise µ positif et les poids wi,j (souvent à 0)
.Pour chaque (e,c) de la Base d’apprentissage
.Calculer la sortie s du réseau
.Si s≠c alors
. wi,j’ = wi,j + µ * (yj * yi)
.Fin Si
.Fin Pour
Christophe Raymond 17/32
Règles d’apprentissage
Y1 Y2 Yv3
1 1 1
1 -1 1
-1 1 -1
-1 -1 -1
Exemple
Initialisation:µ=1w12=w23=0
Echantillon 1:a= 0*1+0*1=0 <=0 y3=-1≠ 1 (=Yv3)
DoncW13’=W13+µ*(Y1*Yv3)=1W23’= W23+µ*(Y2*Yv3)=1
Echantillon 2:a= 1*1+1*(-1)=0 <=0 y3=-1≠ 1 (=Yv3)
DoncW13’’=W13’+µ*(Y1*Yv3)=2W23’’= W23’+µ*(Y2*Yv3)=0
Ainsi de suite
Réseau Fonction d’activation
Christophe Raymond 18/32
Loi de Widrow-Hoff : wi,j‘ = wi,j + µ * (dj - yj) * yi = wi,j + dwi,j
wi,j(t + 1) = poids de la liaison i -> j au temps t + 1 wi,j(t) = poids de la liaison i -> j au temps t yi = sortie de la cellule i dj = réponse désirée µ = constante positive (entre 0.0 et 1.0)
Règles d’apprentissage
La règle de Widrow-Hoff ou règle du delta est locale, c´est à dire que chaque cellule de sortie apprend indépendamment des autres.
Une cellule ne modifie les poids des liaisons qui aboutissent à elle que si elle se trompe.
Christophe Raymond 19/32
Loi de Grossberg :
La méthode d’apprentissage de ce réseau est dite “compétitive", le processus d’apprentissage est calculé, en fonction du vecteur présenté et seul un “gagnant” pourra modifier le poids de ses connexions avec les cellules environnantes.
Ce gagnant est élu selon la formule suivante :
où Wr’ et Wr représentent le poids des connexions au sein du réseau et v le vecteur d’input.
j iwij
Règles d’apprentissage
Christophe Raymond 20/32
L’Intelligence Artificiellesur Silicium
CM1K: 1024 neurones
V1KU: Caméra intelligente équipée d’un moteur d’intelligence artificielle CM1K
CogniBlox
Christophe Raymond 21/32
Les principaux objectifs de l’IAC
La machine doit acquérir de la connaissance et ainsi évoluer en s’adaptant à son environnement: Apprendre, Reconnaitre, Généraliser
Mettre en évidence des relations entre des données hétérogènes, de généraliser et de proposer une décision.
Dispositif d’accès sécurisé multi-experts virtuels
Christophe Raymond 22/32
Un nouveau concept machine
Le temps de réponse ne doit plus dépendre de la taille de la base de données.
1024 processeurs travaillent en parallèle
Le traitement massivement parallèle de l’information
Christophe Raymond 23/32
Quand le feu est rouge, on stoppe
Quand le feu est vert, on passe
Quand le feu est orange ?......!!!
ça dépend : Situation impossible à programmer simplement
L’I.A. une nouvelle façon de penser les problèmes non-linéaires !!L’I.A. est l’outil pour la perception globale de l’environnement.
IA sur silicium un nouvel outil à réaction contextuelle
Christophe Raymond 24/32
• Une anticipation rapide des évènements critiques est essentielle et nécessite un traitement local de l’information.
• Pour des raisons économiques, techniques et de sécurité il faut déployer des experts virtuels dupliquant l’expertise humaine au niveau capteur.
??
Un grand nombre de capteursUn seul superviseur
Surcharge!
La perception globale de l’environnement est un défi
Le capteur doit devenir autonome, intelligent et évolutif
Christophe Raymond 25/32
Problème
Bonne bouteille
Source Rovitech
Mauvaise bouteille
Hier : Une caméra avec IP, un média à haute B.P., un ordinateur puissant, un programme, un ingénieur développeur Un client captifAujourd’hui : une caméra intelligente, autonome capable d’apprendre, de reconnaitre et de généraliser Un client expert
l’I.A. est une réalité industrielle Elle est amenée à se développer
Christophe Raymond 26/32
Nouvelle Génération d’ordinateurs:
Analyse qualité de surfaces:
Christophe Raymond 27/32
Pour extraire l’information du « bruit » il faut effectuer une
segmentation.
Mais est-ce suffisant?
L’IA associe des caractéristiques à des concepts
Segmentation – Classification - Reconnaissance
L’information utile n’est pas toujours là où on l’attend!
Christophe Raymond 28/32
Quel est l’apport de l’I.A. ?
Gâcreàdesrchecrehesàl'uinevsertiedeCmabrdige,l'odrredesltetersdansunmotn'aquepeud'ipmrotnace,lasuelecohseipmrotnateestquelapermeireetladreneireltteresionetbeinpalcseé.Driequenuospssaonspulsdelamiotéiedentorevieàarppenrdeàepepellrlesmtos
.Etnnoantnon?
Segmentation – Classification - Reconnaissance
Christophe Raymond 29/32
Gâcre à des rchecrehes à l'uinevsertié de Cmabrdige, l'odrre des lteters dans un mot n'a que peu d'ipmrotnace, la suele cohse
ipmrotnate est que la pèrmeire et la drèneire lttere sionet bein palcseé. Drie que nuos pssaons puls de la miotéie de
ntore vie à arppenrde à epepellr les mtos. Etnnoant non?
L’IA associe des caractéristiques à des concepts: des mots …
Segmentation – Classification - Reconnaissance
Christophe Raymond 30/32
L’extraction de caractéristiques est
une étape essentielle
L’I.A. nécessite de répondre à deux questions- Quels sont les caractères discriminants?
(identification d’événements)
- Quelles sont les différentes catégories? (classification des événements)
Christophe Raymond 31/32
• les réseaux de neurones sont des outils statistiques, qui permettent d'ajuster des fonctions non linéaires très générales à des ensembles de points
• l'utilisation de réseaux de neurones nécessite que l'on dispose de données suffisamment nombreuses et représentatives
• les réseaux de neurones permettent de modéliser des phénomènes statiques (réseaux non bouclés) et dynamiques (réseaux bouclés)
• il faut utiliser, pour la conception du réseau, les connaissances mathématiques dont on dispose sur le phénomène à modéliser.
Conclusion
Traitement nativement parallèle de l'information, Fusion de données hétérogènes, Capacité d’apprendre, de reconnaître et de généraliser, Système évolutif, Simple d’usage, Réponse rapide Faible consommation, Faible coût.
Les points fondamentaux à toujours garder à l'esprit :
Christophe Raymond 32/32
Toute idée qui ne parait pas stupide au départ est vouée à l’échec. A. Einstein