Démarche du psychologue … Événement 1 : (P)hénomène à expliquerRappel sériel à court terme...

Démarche du psychologue …Démarche du psychologue …Démarche du psychologue …Démarche du psychologue …

•Événement 1 :

(P)hénomène à expliquer Rappel sériel à court terme

•Évènement 2 :

(S)péculation ou qui donne sens à P « Ruban magnétique et tête de lecture en mémoire de type prononciation »

•Évènement 3 :

(I)mplication qui doit être vraie Moindre capacité pour les si S est vraie mots longs à prononcer

•Évènement 4 :

Les données sont-elles congruentes La moyenne de rappel de 10 listes avec I ? composées de mots longs à prononcer est plus basse que ..

Démarche du psychologueDémarche du psychologueMais que fait donc le Psychologue ?Mais que fait donc le Psychologue ?

SI (Spéculation) ALORS (Implication) !!!!!

Le fait que l'implication soit vérifiée ne signifie en rien que la spéculation soit vraie !

La seule conclusion logiquement valide est que la spéculation n'est pas valide quand on démontre que l'implication n'est pas vérifiée

Une démarche scientifique fondée exclusivement sur la falsification simple peut s'avérer plutôt perturbante et impossible à tenir au jour le jour.

Pour s'en sortir on peut avoir recours au concept de validité relative.

Si dans un test où, toutes choses étant égales par ailleurs, un résultats est prédit par un modèle A alors que le modèle B ne prédit aucun effet (ou l'effet inverse) alors on peut conclure que le modèle A est "plus valide" que le modèle B.

Conclusion : Les hypothèses doivent toujours s'effectuer dans le cadre d'une comparaison de modèles, et le rôle de la méthodologie experimentale est de s'assurer du "toute choses étant égales par ailleurs".

Une solution : la comparaison de modèlesUne solution : la comparaison de modèlesUne solution : la comparaison de modèlesUne solution : la comparaison de modèles

Démarche du psychologue 2ème partieDémarche du psychologue 2ème partieMais que fait donc le Psychologue ?Mais que fait donc le Psychologue ?

Schèma synthetique

FACTEURSPhénomène 1 2 3 4

P A B C D-P -A B C D

FACTEURSPhénomène 1 2 3 4

P A B C D-P A -B C D

Spéculation X Spéculation Y

Une solution : la comparaison de modèlesUne solution : la comparaison de modèlesMais pas une panacéeMais pas une panacée

Attention cependant, le test réellement effectué est toujours:SI (Spéculation*Spéculations Annexes ) ALORS (Implication)

Donc, si par la méthodologie on s'assure du "toute chose étant égale par ailleurs", on fixe également les conditions d'observation (facteurs contrôlés). Des spéculations annexes nous font croire que les facteurs que l'on contrôle ne sont théoriquement pas déterminants pour nos tests ou qu'il est inutile d'en contrôler certains. Ce n'est peut être pas le cas….

Relation Théorie-modèle-SimulationRelation Théorie-modèle-Simulation La place du psychologue La place du psychologue

Théorie computationelle(But, logique de la stratégie)

Niveau algorithmique

Implémentation

Marr (82) : Les trois niveaux auxquels les machines traitant de l'information doivent être comprises

Expérimentation

Pour la mémoire Dominance de la métaphore spatiale et

symbolique (e.g. Roediger III,1980))

Doit on prendre les trois manifestations de la mémoire :

** Mémoire des apprentissages passés qui modifie notre comportement (sans que l'on ait besoin de prendre conscience de ces événements passés)

** Mémoire du sens des choses et des relations entre les choses (sémantique, ‘ memoria ’, ’catégorielle ’)

** Mémoire des événements vécus (souvenir, ‘ remenberance ’, ’temporelle ’ )

comme preuve de l'existence de 3 systèmes mnésiques différents ?

Les deux sens de représentation

• Au sens faible :– Correspondance regulière entre l’état physique

(neurones ou groupes de neurones) d’un système en fonctionnement et les événements qu’il traite.

• Au sens fort : – Structure physique (neurones ou groupes de

neurones) d’un système qui correspond de manière permanente à un élément du monde extérieur.

Représentation au sens fortConséquences

• Pour être utile, la représentation doit être accessible en dépit des variations du signal d’une rencontre à l’autre.– C’est donc un élément discret abstrait des caractéristiques

idiosyncratiques de présentation

– Il existerait une représentation structurale visuelle qui correspondrait aux invariants.

– Défit majeur : La notion d’invariant a un sens a posteriori ; en faire la structure centrale nécessite de concevoir un système perceptif ‘particulièrement intelligent’

– Difficulté du pari …. comment intégrer l’apprentissage de nouveaux stimuli dans les modèles abstractifs.

Description 3D(centrée sur l’objet)

Description 2D ½(dépendante du point de vue)

Représentations structurales stockées(pictogènes)

Système Sémantique

Traitement des caractéristiques élémentaires de forme

Traitement sensoriel

locale globale

Dénomination

Sensationstactiles

Agnosie intégrat ive

Agnosie de transformation

Agnosie parperte des RSS

Agnosie de la forme

Agnosie d'accès sémant ique

Agnosie asémantique

Précoces

Intermédiaires

Tardifs

Accès sémantique

Modèle classique consensuel

Représentation 2 D (Esquisse primaire)• Extraction parallèle et locale de caractéristiques 2D (segments de lignes, tâches, jonctions de lignes..)

• Groupements perceptifs (textures, contours)

Représentation 2 D (Esquisse primaire)• Extraction parallèle et locale de caractéristiques 2D (segments de lignes, tâches, jonctions de lignes..)

• Groupements perceptifs (textures, contours)

Représentation 2.5 D• Extraction des surfaces: forme, position• Extraction centrée sur l’observateur• Extraction non organisée en structure

Représentation 3 D• Extraction des axes d’élongation/symétrie de

l’objet• Structuration des surfaces en objet perceptif

en utilisant les axes de l’objet comme référentiel spatial

Représentation structurale objet-centrée. Cette représentation est confrontée aux

représentations 3D stockées en mémoire. Il y a reconnaissance s’il y a appariement.

Représentation 3 D• Extraction des axes d’élongation/symétrie de

l’objet• Structuration des surfaces en objet perceptif

en utilisant les axes de l’objet comme référentiel spatial

Représentation structurale objet-centrée. Cette représentation est confrontée aux

représentations 3D stockées en mémoire. Il y a reconnaissance s’il y a appariement.

Modèles computationnels : ‘Vision’ (structurale) de Marr (1982)

Biederman (1985)

Edge extraction

Determination of Components

Detection of Nonaccidental

Properties

Parsing of Regions of Concavity

Matching of Components to Object Representations

Object Recognition(prototype level)

Deuxbords parallèles

Bords courbes

Jonctions de type Y(avec courbures)

Jonctions internesde type Y

Troisbords parallèles

Jonctions externesde type flêche

1) Extraction des primitives liées aux contours locaux

2) Extraction des composantes volumétriques de l’objet

3) Assemblage des composantes volumétriques en objet

4) Appariemment avec des objets stockés en mémoire

TULVING (1972)

il existe 3 systèmes distincts mais emboîtés

* La Mémoire Procédurale

* La Mémoire Sémantique agnosieagnosie

* La Mémoire Episodique amnésieamnésie

MPMSME

Métaphore spatiale et systèmes multiplesMétaphore spatiale et systèmes multiplesMétaphore spatiale et systèmes multiplesMétaphore spatiale et systèmes multiples

A l’origineA l’origine une considération sur les niveaux de complexité et de conscience

anoëtique noëtique autonoëtique

ÉvolutionÉvolution une conception en stocks mnésiques différents et enchâssés

[Mprocédurale [Msémantique[Mépisodique]]]

Rôle fondamental de l’unité symbolique comme seule Rôle fondamental de l’unité symbolique comme seule constitutive du sens :constitutive du sens : Si un épisode a du sens, il ne peut être constitué que d’un assemblage de composantes sémantiques élémentaires (représentation symbolique)

Ce schéma est fondamental et toujours d'actualité.Ce schéma est fondamental et toujours d'actualité.« Encoding of information into the episodic system is contingent upon succesfull

processing of information through the semantic system »

Modèles fondés sur des unités de sens Abstractifs

La mémoire sémantique est un ensemble organisé de représentations (nécessairement abstraites)

La mémoire épisodique est un enregistrement des unités sémantiques co-activées pendant l’épisode

Pré-traitements perceptifs

Construction de codes abstraits

Représentations sémantiques

Enregistrement des sens co-

activés

Actualisation

Construction & Récupération

(PRS- systèmes de représentation perceptive)

SYNOPSIS : UNE QUESTION DE SENSSYNOPSIS : UNE QUESTION DE SENSSYNOPSIS : UNE QUESTION DE SENSSYNOPSIS : UNE QUESTION DE SENS

Deux Conceptions de la Mémoire Deux Conceptions de la Mémoire Deux Conceptions de la Mémoire Deux Conceptions de la Mémoire

Abstractive : la mémoire est un stock de représentationsreprésentations

Non Abstractive : La mémoire est la capacité à re-créer des expériences passées

Créer les représentations (Encodage)Les placer en mémoire (Stockage)Pouvoir les atteindre (Récupération)

Trouver un système qui puisse assurer cette re-créationaprès avoir été confronté à des exemples d’apprentissage

Les systèmes multi-traces ainsi qu’une certaine utilisation de l outilconnexionniste permetent d implémenter ce fonctionnement

Trouver une des configurations d'efficience «synaptique » qui permet de réaliser la fonction de re-création correspondant aux exemples appris

Modèles fondés sur des unités de sens Abstractifs

La mémoire épisodique est un enregistrement des unités

sémantiques co-activées pendant l’épisode

Modèles fondés sur des enregistrements sensoriels pluri-

modaux Non-Abstractifs (épisodiques)

La mémoire (sémantique & épisodique) est issue de l'intégration d’enregistrements

pluri-modaux

Construction de codes abstraits

Représentations

sémantiques

Enregistrement des sens co-

activés

Actualisation

Construction

& Récupération

Accumulation d’enregistrements

intra et inter modaux (épisodes ?)

Expérience sémantiqu

Expérience

épisodique

? Processus « Automatiques » & « Dirigés »

Une question de sens …Une question de sens …Une question de sens …Une question de sens …

Un modèle multi-traces : Minerva II Un modèle multi-traces : Minerva II (Hintznan 84)(Hintznan 84)

La MEMOIRE est un ensemble de traces épisodiques stockées

Enregistrement à chaque instant des stimulations primaires dans toutes les modalités

L état actuel dans l ensemble des modalités (i.e. valeurs d activation/inhibition des cellules)constitue une SONDE avant d être stockée

Calcul en deux étapes :I : Activation des traces en fonction

de leurs similarités à la sonde

II : Détermination de l ECHO comme moyenne de toute les traces pondérées par leurs activations

Un coefficient acc fort permet d augmenter la contribution des traces les plus activées

)(),( )(A

j)(i,(i)

En parallèle pour chaque

trace i

En parallèle pour chaque

composante j de l’écho

Aucune abstraction à l’encodage – apprentissage définitAucune abstraction à l’encodage – apprentissage définitAucune organisation : uniquement colonne d’états de Aucune organisation : uniquement colonne d’états de ‘capteurs’‘capteurs’

….. Fourchette/Assiette/Salade….

….. Fourchette/Assiette/Pâtes….

….. Fourchette/……….….……….….. Fourchette/……….….……….

….. ???????????/???????/????…..Echo

….. Fourchette/Assiette/../Faim….….. Fourchette/Assiette/../Faim….….. Fourchette/ Ecran /../Peur….

….. Fourchette/ Ecran ……………….. Fourchette/ Ecran ……………

….. ???????????/???????/../???…..Echo

….. Fourchette/Assiette/Salade….….. Fourchette/Assiette/Pâtes….….. Fourchette/Assiette/Pâtes….

….. ???????????/???????/????…..Echo

….. Fourchette/Assiette/Salade….

….. ???????????/???????/????…..Echo

Approche (très) intuitive des propriétés Approche (très) intuitive des propriétés des modèles multi-tracesdes modèles multi-traces

Attention : Ces propriétés ne prennent sens que pour des stimulation élémentaires issues des différentes modalités

1) ….. Chien /aboie…./.os….../jardin….2) ….. Chien /aboie…./.patée/cuisine….3) ….. Chien / pleure /.os……/rue….4) ….. Chien /………../.os……/salon…. 5) ….. Chien /aboie . /.patée./montagne.6) ....Canari./.chante /graine./cuisine…..

………..Chien / ……… ……………………..Chien / ……… ……………

….. Chien /aboie…/.os./….Echo

Mémoire

Episodecourant

Évocation de propriétés générales/ évocation d’épisode : rôle de la situation de récupération

1) ….. Chien /aboie…./.os….../jardin….2) ….. Chien /aboie…./.patée /cuisine….3) ….. Chien / pleure /.os……/rue….4) ….. Chien /………../.os….../salon…. 5) ….. Chien /aboie . /.patée./montagne6) ....Canari./.chante /graine./cuisine…..

………..Chien / ……… /………/rue………..Chien / ……… /………/rue

….. Chien /pleure…/.os./rue….Echo

Mémoire

Episodecourant

Ici l’indice de récupération est similaire à l’ensemble des cinq traces. L’écho contient donc les propriétés générales correspondant à l’indice de récupération . Le fonctionnement favorise ici l'évocation du sens du stimulus.

Ici l’épisode courant contient deux indices spécifiquement associés dans une trace. L’activation relative de cette trace étant alors plus forte, l’écho reflétera préférentiellement son contenu. Le fonctionnement favorise ici l'évocation d'un épisode particulier.

1) .. Chien /aboie…./.os….../jardin….2) .. Chien /aboie…./.patée/cuisine….3).. Chien / pleure /.os……/rue….4) .. ……. /………../.os……/niche…. 5) .. Chien /aboie . /.patée./montagne6) ..Canari./.chante /graine./cuisine…..

……………/ ………/ …………/niche………………/ ………/ …………/niche…

….. …….…/……….. / os…../niche.Echo

Mémoire

Episodecourant

1) ….. Chien /aboie…./.os….../jardin….2) ….. Chien /aboie…./.patée/cuisine….3) ….. Chien / pleure /.os……/rue….4) ….. Chien /………../.os……/niche…. 5) ….. Chien /aboie . /.patée./montagne.6) ..Canari./.chante /graine./cuisine…..

…………….. / ………/os …/niche………………….. / ………/os …/niche……

….. Chien /….…/.os./nicheEcho

Mémoire

Episoderéinjecté

La réinjection de cet écho permet d’obtenir une évocation qui reflète la structure de la connaissance correspondant à l’ensemble des traces présentes en mémoire

Evocation initiale : l’indice de récupération permet la récupération d’éléments associés dans les traces le contenant.

Rôle des réinjections dans l’évocation des propriétés générales

Dans un modèle muti-traces dotéde réinjections, les évocations ne sont pas un simple résumé statistique des traces contenant l’indice de récupération. Ces réinjections permettent au système mnésique d’être sensible à la structure sous jacente à l’ensemble des traces stockées en mémoire. La structure sémantique n’est pas stockée en mémoire, mais est recrée, lors de la récupération et en fonction des indices fournis.

Schéma de principe• Les contenus mnésique sont périphériques et transitoires

– ‘Recréer la perception’

Précablés, totalement indépendants de tout processus d’abstraction (e.g., séparation fréquentielle, séparation couleurs)

Le but du traitement est qu’en couche périphérique, la sortie des filtrages perceptifs soit égale au retour de la boucle corticale : Auto-association par adaptation des connexions corticales

‘’‘’filtrages perceptifs’’filtrages perceptifs’’

RétineRétine

Couche(s) periphériqueCouche(s) periphérique

Autres Autres modalitésmodalités

Boucle Boucle CorticaleCorticale

‘’‘’filtrages perceptifs’’filtrages perceptifs’’

RétineRétine

Couche périphériqueCouche périphérique

Autres Autres modalitésmodalités

Boucle Boucle CorticaleCorticale

Schéma de principe

* Ne fonctionnent pas à partir de représentations abstraites

* Structurent la perception

Lors du fonctionnement : Etudier des représentations au sens faibleau sens faible

RéinjectionsRéinjections

Architecture modalitaire minimum à partir de :

Damasio (1989), Hintzman(1984), Jacoby (1983), Rousset & Schreiber (1992), etc .

•Contraintes d’apprentissage : Obtenir un écho égal à l’entrée•Mémorisation : Assurée par les connexions (flèches colorées), codage intra & inter modal•Mémoire : Re-création de composantes élémentaires •Réinjections : Le système fonctionne également à partir de ses sorties (flèches rouges)

Un seul stock mnésique avec une organisation modalitaireUn seul stock mnésique avec une organisation modalitaire

Vers une expression connexionniste Vers une expression connexionniste des modèles non-abstractifsdes modèles non-abstractifs

Attention le formalisme connexionniste Attention le formalisme connexionniste n’estn’est

Qu’un outil – e.g. Nadel et Moscowitch Qu’un outil – e.g. Nadel et Moscowitch (98)(98)

Attention le formalisme connexionniste Attention le formalisme connexionniste n’estn’est

Qu’un outil – e.g. Nadel et Moscowitch Qu’un outil – e.g. Nadel et Moscowitch (98)(98)

NEOCORTICAL MODULES

Semantic Features

Spatial/Episodic AttributesHIPPOCAMPAL COMPLEX

Une famille de modèles

Squire & Alvarez (95), Mc Clelland & Al. (95), Murre (96), Nadel & Moscowitch (97)…

Variation autour d'un même thème…

1) Une trace épisodique est apprise très rapidement 2) Les traces épisodique servent ensuite de professeur interne pour

le système cortical ('sémantique') afin qu'il apprenne lentement la structure de cooccurrence des différents élément dans les épisodes vécus par le sujet Création d'une sémantique

E.G. Bière…. Louvain….Plaisir

Bière…. Bruxelle….Plaisir

Bière….Grenoble…Plaisir

Nadel & Moscowitch (1997)… Point de vue A

HIPPOCAMPAL COMPLEX

NEOCORTICALS MODULES

…/Episodic Attributes

Semantic Features

External episode

Début de liaisons entre traits sémantiques ( ) embryon de création de la sémantique

Perception d'un épisode A

• Création instantanée d'une trace épisodique (cellules de l'hippocampe & )

HIPPOCAMPAL COMPLEX

Renforcement ( ) et début de liaisons entre traits sémantiques ( ) vers la création de la sémantique

Perception d'un épisode B

• Création instantanée d'une trace épisodique (cellules de l'hippocampe & )

HIPPOCAMPAL COMPLEX

Re-évocation de l'épisode A

• Pour tous les modèles :– renforcement de la sémantique

HIPPOCAMPAL COMPLEX

Révocation de l'épisode A

• Pour tous les modèles :– Consolidation de l'épisode au niveau cortical

( corollairement renforcement de la sémantique• Pour Nadel & Moscowitch

– Création d'une nouvelle trace Episodique

HIPPOCAMPAL COMPLEX

Réseau Hétéro-Associatif Réseau Hétéro-Associatif Réseau Hétéro-Associatif Réseau Hétéro-Associatif

Adaptation à des exemples d’associations Entrée (X) Sortie (Y)

Chaque exemple contraint la fonction de re-création

Chaque synapse participe à lare-création de chaque exempleinformation distribuée

La fonction de re-création capture la structure des exemplaires appris

Généralisation

Réseau Auto & Hétéro-Associatif Réseau Auto & Hétéro-Associatif Réseau Auto & Hétéro-Associatif Réseau Auto & Hétéro-Associatif

Adaptation à des associations Entrée (X) Entrée (X) et Sortie (Y)

Possède également les propriétésdes réseaux Hétéro-Associatifs

Permet de rajouter au rappel,la familiarité et la reconnaissance

Capacité à recréer les entrées (complétion)

Fondement des conceptions non-abstractives du sens

Autres

représentations

Outil connexionniste – exploration, loi Outil connexionniste – exploration, loi de hebb de hebb

Lorsque deux neurones sont simultanément activées alors le poids de la connexion qui les relie est modifié proportionnellement au produit de leur activation

Loi d apprentissage quand deux neurones sont activés par une entrée externe Forme simple de la règle : Nouveau poids = ancien poids + [(1/nb connexions) X (ActivNeurEntréexActivNeurSortie)

Quand un neurone n est pas activé une entrée externe Calcul de la somme des entrées pondérées par les poids de connexions

Activation =Sommes des (activation X Poids de connexion)

-10 0 0-1/4

0.5(a)

En (a) : nouveau poids = 0 +( ½ x (-1x0.5) ) = -1/4

1/4 … …-1/4

0.5 …(a)

En (a) : activation = (-1x-1/4) + (1x1/4) = 0.5

Performance en rappel auto -associateur

Outil connexionniste, loi de Hebb Outil connexionniste, loi de Hebb force et faiblesseforce et faiblesse

Loi de Hebb dans un cadre non abstractif

Pas de problème pour apprendre de nouveaux exemples (inverse des modèles abstractifs)

Apprentissage supervisé

Ici la mémoire n est pas un stockage mais une capacité à recréer des sortie

Définie par une architecture, qui s’est modifiée, et qui traite des entrées (fonction)

Remarque :si l’on considère l’ensemble [apprentissage*récupération]

un auto-associateur est équivalent à Minerva II avec une accélération de 1

Problème :

Comme ici il n existe aucune possibilité pour jouer sur le paramètre d accélération qui permettait de sur-discriminer les traces dans Minerva II, on ne peut apprendre que des entrées orthogonales entre elles.

Conséquence :

Prévoir un système d orthogonalisation

Faiblesse de la généralisation

Le système ne peut tirer pleinement parti des ressemblances réelles entre exemples

Outil connexionniste / Correction Outil connexionniste / Correction d’erreurd’erreur

Principe :

Au départ poids non nuls

Présentation de l’entrée et calcul de la Sortie Effective

Comparaison cellule par cellule (loi locale) entre Sortie Effective et Sortie Désirée

Utiliser cette erreur pour modifier le poids de connexion en fonction de sa valeur et de l activation de la cellule d’entrée

Limite :

Ne peut apprendre les associations non linéairement séparables (exemple classique OU Exclusif)

Solution :

Rajouter des couches cachées, mais on ne connaît pas l erreur à ce niveau

Rétropopagation du gradient des fonctions d’erreur par le poids de connexion

PROBLEME :

Réalisme neuromimétique (il existe néanmoins des alternatives)

0.01 … …0.49

0.5 …(a)

La connexion (a) a plus participé à la

sortie donc à l’erreur

1 … …1

0.5 …

0.5 0.01

La cellule (a) a plus participé à la sortie

donc à l’erreur

••••

•••• Cellules d’Entrée

Cellules CachéeCellules Cachées

Cellules de Sortie

Principe de fonctionnement

Cellules d’Entrée

Cellules CachéeCellules Cachées

Cellules de Sortie

••••

W1W2 W3

• W : poids de connexion

• Activation de S1 =f [somme(activationC * W)]

Avec f fonction de seuilS

Entrée totale de la cellule =Somme des activations des cellules sources * Poids de connexion

Le seuil et son évolution

De l’unidimensionnel Discontinu …

Vers le multidimensionnel Discontinu

Pour aboutir à

Du multidimensionnel continu et non linéaire

e la c

Entrée totale de la cellule =Somme des activations des cellules sources * Poids de connexion

SeuilSeuil

e la c

Entrée de la cellule =Somme des activations des cellules sources * Poids de connexion

SeuiSeuill

S1 = S1 = 00

S1 = S1 = 11

Valeur de E1

S1 = 0S1 = 0

S1 = 1S1 = 1

W1W2 W3

E3 En…

Valeur de E1 (longueur des sépales)

S1 = 0S1 = 0

S1 = 1S1 = 1

Un micro problème… de botanique

Comment ajuster le seuil (l’hyperplan)

• Paramètres du problème fixes :– L’architecture (cellules, connectivité)– La fonction de seuil– Les exemples à apprendre

• Paramètres libres :– Les poids de connexions [W]

Comment ajuster le seuil (l’hyperplan)

Entrée totale de S1=Somme(Ei*Wi)

• Jouer sur la relation entre les entrées et le seuil… en modifiant les poids suivant une régle AUTOMATIQUE, LOCALE et simple (e.g. correction d’erreur)

Entrée E1Entrée E1 * Poid W1

S1 = 0S1 = 0

S1 = 1S1 = 1

S1 = 0S1 = 0

S1 = 1S1 = 1

S1 = 0S1 = 0

S1 = 1S1 = 1

S1 = 0S1 = 0

S1 = 1S1 = 1

S1 = 0S1 = 0

S1 = 1S1 = 1

S1 = 0S1 = 0

W’’1

W’’2

S1 = 1S1 = 1

S1 = 0S1 = 0

S1 = 1S1 = 1

S1 = 0S1 = 0

W’’1

W’’2

S1 = 1S1 = 1

S1 = 0S1 = 0

S1 = 1S1 = 1

S1 = 0S1 = 0

?Redéfinition

de la mémoire

Généralisation

Conséquences …

S1 = 1S1 = 1

S1 = 0S1 = 0

Un micro problème plus complexe… toujours en botanique

Rôles des cellules cachées

• Augmentation du nombre de paramètres [W]

Augmentation de dimensionnalité

Possibilté de projeter les entrées dans un nouvel espace façoné en fonction des contraintes d’apprentissage

Quelle fonction pour les cellule cachées ?

e la c

Entrée de la cellule =Somme des activations des cellules sources * Poids de

connexion

e la c

Entrée de la cellule =Somme des activations des cellules sources * Poids de

connexion

Une fonction non-linéaire continue

e la c

Seuil ? !Seuil ? !!!

Fonction Sigmoïde

x (VAR1)

y (VAR2)

0.182116

0.416441

e la c

Avant apprentissage

x (VAR1)

y (VAR2)

0.0551437

0.996046

e la c

Après apprentissage

x (PLENGTH)

y (SWIDTH)

0.00738523

0.364194

e la c

0.23 1

x (VAR1)

y (VAR2)

0.0551437

0.996046

e la c

x (VAR1)

y (VAR2)

0.182116

0.416441

e la c

Rappel : Avant apprentissage

S1 = 1S1 = 1

S1 = 0S1 = 0

• Interpolation !

Retour sur la généralisation

Réseaux Auto-associatif : Généralisation

Resistance au bruit

Completion

Valeur de E1 (longeur des sepales)

S1 = 1S1 = 1

S1 = 0S1 = 0

• Interpolation !

(pas si trivial !)

Complexité …Critères de généralisation

Au delà de la complexité, la non linearité permet de changer la nature de la

généralisation

Retour sur la généralisation

Exemple « pédagogique » (McClelland et col, 95)

Architecture : Lisible

Les entrées sont des symboles discrets (aucune ressemblance physique)

La structure des couches est destinée à rendre les résultats plus facilement analysables.

La structure du pb n’est pas dans l’architecture.

Apprend successivement des exemples

Activation de canary & ISA en entrée bird en sortie

Activation de rose & has en entrée petals en sortie

……..

Activations des 8 cellules de la première couche cachée à la suite du traitement par les connexions de chacune des 8 « entités » – évolution durant l’apprentissage

Mesure de distance des patterns d’activation sur la première couche cachée lors du traitement de chacune des 8 « entités »– évolution durant l’apprentissage

Preuve comportementale : Pour un nouvel animal, il suffit d’apprendre que c’est un oiseau pour que le réseau infère les propriétés associées …

Exemple « pédagogique » (McClelland et col, 95)

Phénomènes liés aux structures dansPhénomènes liés aux structures dansles réseaux distribués (I)les réseaux distribués (I)

Exemple pédagogique (McClelland et col, 97)

But : étudier comment un réseau peut capturer une structure simplement au travers de la succession d’exemples élémentaires

Ceci sans fonctionner suivant la structure hiérarchique

Architecture : Lisible

Les entrées sont des symbole pour faciliter la lecture (représentations non réparties)

La structure des couches est destinée a rendre les résultats plus démonstratifs

La structure du pb n’est pas dans l’architecture.

Apprend successivement des exemples

Activation de canary & ISA en entrée bird en sortie

Activation de rose & has en entrée petals en sortie

……..

(les exemples sont construis à partir du graphe structuré)

Capture de la structure à partir d'une Capture de la structure à partir d'une succession d'exemples succession d'exemples

Activations des 8 cellules de la première couche cachée à la suite du traitement par les connexions de chacune des 8 « entités » – évolution durant l’apprentissage

Mesure de distance des patterns d’activation sur la première couche cachée lors du traitement de chacune des 8 « entités »– évolution durant l’apprentissage

Preuve comportementale : Pour un nouvel animal, il suffit d’apprendre que c’est un oiseaux pour que le réseaux infère les propriétés associées …

L’architecture permet ici d’avoir un autre indice de la structuration. Cependant cette spécialisation n’est pas nécessaire pour le comportement d’inférence !

L’Oubli Catastrophique L’Oubli Catastrophique L’Oubli Catastrophique L’Oubli Catastrophique

Définition : Oubli dramatique des exemples antérieurement appris lors de l’apprentissage de nouveaux exemples

Cause : les anciens exemples ne contraignent plus la fonction de re-création.

Conséquence : Il faut continuer à présenter les anciennes connaissance pour contraindre la fonction

Rafraîchissement

Solution 1 : McClelland et al. (1995) [Sans Rafraîchissement]

- Conserver les exemples récents (Mémoire Tampon = Hippocampe ?) - Limiter l ’oubli en ne les faisant que très peu apprendre par la mémoire principale (Cortex ?)

Solution très partielle, non viable à long terme

Idée de deux structures complémentaires

Problème : on ne dispose « en général » pas des exemples passés

Principe : (Robins, 1995)

- Calculer la sortie à partir d’un bruit aléatoire en entrée - Cette sortie sera le résultat du traitement par la fonction de re-création L’association entrée - sortie (PE) sera un reflet de la fonction

Solution : à partir de bruit aléatoire, créer des Pseudo-Exemples (PE) qui seront des exemples de la fonction de re-création

Auto-Rafraîchissement par Pseudo-ExemplesAuto-Rafraîchissement par Pseudo-ExemplesAuto-Rafraîchissement par Pseudo-ExemplesAuto-Rafraîchissement par Pseudo-Exemples

Entrées

Sorties

Soit une nouvelle association X Y à apprendre

Phase 1

Création d’une pseudo-base

B1 SB1 ; B2 SB2 …. Bn SBn

Phase 2Phase 2

Apprentissage de la pseudo-base

B1 SB1 ; B2 SB2 …. Bn SBn

et de X Y

X, B1 ..Bn

Y, SB1 ..SBn

Problème : on ne dispose en général pas des exemples passés

Principe : (Robins, 1995)

- Calculer la sortie à partir d un bruit aléatoire en entrée - Cette sortie sera le résultat du traitement par la fonction de re-création L’association entrée - sortie (PE) sera un reflet de la fonction

Solution : à partir de bruit aléatoire, créer des Pseudo-Exemples (PE) qui seront des exemples de la fonction de re-création

Méthode : (Robins, 1995)

1) Avant tout nouvel apprentissage, création d’un ensemble de PE 2) Stockage de ces PE dans une mémoire tampon 3) Apprentissage conjoint des nouveaux exemples et de ces PE

Les connaissances passées continuent à contraindre la fonction

Une des structures (mémoire tampon) n’est pas neuromimétiqueL’oubli-catastrophique n’est que partiellement résolu

Proposition 1Proposition 1 Deux Structures ConnectionistesDeux Structures Connectionistes

Principe : Faire apprendre les Pseudo-Exemples à un second réseau

Etape 1: Transfert de la fonctionde recréation versun réseau secondaire

Etape 2: Apprentissage denouveaux exemplesconjointement avec unpseudo-rafraîchissement

Les deux réseaux n’ont pas nécessairement la mêmearchitecture interne (cellules, connexions, règle de plasticité)

Proposition 2Proposition 2 Auto-Association & RéinjectionAuto-Association & Réinjection

Objectif : capture optimale de la structure de la fonction de re-création

Principe : contribution maximale de la structure dans les Pseudo-Exemples

Méthode : réinjection des sorties auto-associatives (Réverbération)

1)1) A partir d’un bruit aléatoire, la première sortie est le reflet des caractéristiques du bruit et de la structure

La sortie auto-associative devient une nouvelle entrée

La part de la structure est plus importante dans les sorties (auto et hétéro associatives ) résultant de cette réinjection

2)2)2)2)

3)3)3)3)

Enchaînement de plusieurs réinjections successives : réverbération

Chaque Pseudo-Exemple sera donc le résultat de plusieurs réinjections successives des Auto-Associations

Création d’un pseudo exemple :

1) Injection de bruit (B1)

2) obtention de la sortie auto-associative SAB1

3) Injection de SAB1

4) …

5) Obtention d’un pseudo pattern

(SABn-1) (SABn ,SHBn)

Utilisation du pseudo pattern :Utilisation du pseudo pattern :

Transport vers le réseau secondaireTransport vers le réseau secondaire

Accompagnateur dans le réseau principal Accompagnateur dans le réseau principal B1

Suppression de l’Oubli Catastrophique Suppression de l’Oubli Catastrophique Suppression de l’Oubli Catastrophique Suppression de l’Oubli Catastrophique

Cas d’école(MacCloskey, 1989)

Importance duprocessus deréverbération

Courbe en « U » :Restructuration poursatisfaire les deux sous fonctions

Une Quasi Equivalence Une Quasi Equivalence Une Quasi Equivalence Une Quasi Equivalence

Nombre de cycles d'apprentissage

Phénomènes liés aux structures dansPhénomènes liés aux structures dansles réseaux distribués (II)les réseaux distribués (II)

Objectif : Etudier l’apprentissage séquentiel de deux ensembles structurés ( transfert ?)

Méthode : Choix de la structure additive (contrôle expérimental plus que réalisme psychologique)

Apprentissage de 916 items (base A) correspondant soit à : une addition décimale (e.g., 07 + 46 = 53) une opération Max (e.g., 07 Max 46 = 47)

Au cours de l’apprentissage de 229 items (base B) d’addition octale (e.g., 07+46 = 65 ), test de généralisation sur 687 items d’addition octale non appris

Etude de trois cas [ pour le cas compatible (décimal) et non compatible (Max)]

Apprentissage de B seul (tabula rasa)

Apprentissage simultané de A et B

Apprentissage séquentiel de A puis B avec pseudo-rafraîchissement et processus de réverbération

Codage Codage Codage Codage

Auto association :Auto association :

12 cellules pour l’opérande & 2 cellules pour l’opérateur 0 0 0 1 1 1 1 0 0 1 1 0 01 0 7 4 6 + décimal

Couche cachéeCouche cachée : 40 cellules

Hétéro AssociationHétéro Association :

6 cellules pour le résultat 1 0 1 0 1 1 5 3

07 (+décimal) 46 = 53

[(000) (111)] + [(100) (110)] = [(101) (011)] et [01].

Codage : 0 7 + 4 6 = 5 3 en décimal

…..0 0 0 1 1 1 1 0 0 1 1 0 0 1

1 0 1 0 1 10 0 0 1 1 1 1 0 0 1 1 0 0 1

0 0 0 1 1 1 1 0 0 1 1 0 0 1

1 0 1 0 1 1

Représentation 1 Représentation 2

Codage de l'additionCodage de l'additionCodage de l'additionCodage de l'addition

OubliOubliau cours de l'Apprentissage d'une Base d'Additions Octalesau cours de l'Apprentissage d'une Base d'Additions Octales

Généralisation Généralisation au cours de l'Apprentissage d'une Base d'Additions Octalesau cours de l'Apprentissage d'une Base d'Additions Octales

Net 1 Pseudo-Examples ( PE )

Actual Examples

Information transfer with Pseudo-ExamplesMusca, Rousset & Ans, 2004

Auto-associative network

Actual ExamplesList 1

Source Items

List 2Control Items

Pseudo-Examples ( PE ) or "attractor states"

from List 1 source items

Pseudo-Examples

Source Items

Filtered Familiarity tests on Source Items Control Items

List 1Source Items

List 2Control Items

Pseudo-Example Filtering

Constraint 1

List 1Source Items

(SIi )

List 2Control Items

(CIj )

(PEk )

Set ofPseudo-Examples

Constraint 2 : mean ( CIj , PE ) < mean ( SIi , PE ) j i

Similarity to the pseudo-example centroid PE

( CIj , PEk ) < meanmeankj

( SIi , PEk ) ki

Constraint 3 :

List 1Source Items

(SIi )

List 2Control Items

(CIj )

(PEk )

Set ofPseudo-Examples

Similarity to all pseudo-examples PEk

Pseudo-Examples

Source Items

) Source items

Control items

PEs from L1 PEs from L2

Training material

Net 2 Simulation

Pseudo-Examples

Source Items

Source items

Control items

PEs from L1

Group 1

PEs from L2

Group 2

Behavioral Experiment 1

Occurrence recognition task

Source items

Control items

PEs from L1

Group 1

PEs from L2

Group 2

Behavioral Experiment 2

Perceptual fluency task

Démarche du psychologue … Événement 1 : (P)hénomène à expliquerRappel sériel à court terme...

Documents

PAGE BETON FRAIS 1-5 TRANSPORT - POMPAGE - RUBAN 6-7

INGÉNIERIE DES FORMATIONS PICTO-CHARENTAISES RUBAN PÉDAGOGIQUE CD16

Ruban d’adieu / Exposition Atom Egoyan : Hors d’usage ... · RUBAN D'ADIEU s'échappant toutes deux de leur sous-sol par l'Art) ; on emprunte ensuite un petit corridor où se

Blake - Le Ruban Et l'Épée

- CONTE IMPRIMÉ - RUBAN - PERFOREUSEmedias.petit-bateau.com/...bateau_DIY_conte_noel.pdf · - CONTE IMPRIMÉ - RUBAN - PERFOREUSE 1. ... de couleur, un héros fantastique. Il s’endormit

la béance du ruban

Les fansubs ou l'accélération du temps sériel

Un ruban et des larmes

- CONTE IMPRIMÉ - RUBAN - PERFOREUSEmedias.petit-bateau.com/Media/download/conte_chasse-aux... · 2019-05-15 · - CONTE IMPRIMÉ - RUBAN - PERFOREUSE 1. Après avoir imprimé le

01 Frhjahrskatalog 2017 Franz sisch P12-P13 · Exemple de décoration Exemple de décoration avec Verre à bougie chauffe-plat p. 5, Succulentes p. 19, Mousse VBS p. 101 et Ruban

novembre blanc tente lampe tempête ruban apprendre-reviser … · 2019. 2. 9. · ruban chambre pente novembre blanc argent apprendre-reviser-memoriser.fr. singe train timbre infini

27 costumes de bal entièrement en ruban adhésif !

Le relief du ruban - Aphrodite’s Melody

2 tunique musicien ruban Cahier journal 4 6 5 lunettes … · – Cahier p. 12-13 Cahier journal COMPRÉHENSION: ... Reformulation collective prise par le maître en dictée à l’adulte

PicoScope 2200A Series - Pico Technology · PicoScope 2200A Series Décodage sériel Les oscilloscopes PicoScope 2200A incluent le décodage sériel en standard. Les données décodées

(.1 be Ruban - rideauvert.qc.ca

Système Électronique de Paiement Multiple … · GIODY sériel MDB/ICP Le Protocole ICP/MDB représente le standard NAMA/EVMMA pour la communication sérielle entre VMC ... Protocol

Etude et conception des antennes micro ruban pour la

RUBAN CHAUFFANT AUTO-RÉGULANT HTSX - ThermonLe ruban peut être alimenté sous d'autres tensions; pour toute assistance liée à la conception, veuillez contacter Thermon. 2. Classe

Octobre - Décembre 2018 - Quincaillerie Michaud€¦ · 9911J Ponceuse à ruban 650 W / Vitesse 75-270 m/min / 3.1 kg Dimensions du ruban 457x76 mm GRATUIT 2 x P-33037 Papier abrasif