22
Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS : modèles, concepts méthodes

Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

Embed Size (px)

Citation preview

Page 1: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

Apprentissage et évolution : l'effet Baldwin

Mirta B. GordonLaboratoire Leibniz – IMAG

Grenoble

Dynamique des systèmes complexes et applications aux SHS :modèles, concepts méthodes

Page 2: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

2

théorie de l'évolution

•les caractéristiques d'un individu dans une population sont déterminées génétiquement

•les caractères appris ne sont pas transmis à la génération suivante

•évolution d'une population :– sélection : les individus les plus aptes (dans l'interaction avec

leur environnement) ont une meilleure "adéquation à l'environnement" (fitness), et par conséquent, une probabilité plus grande de laisser des descendants.

– mutation : source de variabilité à l'intérieur d'une population– [cross-over]

•les caractéristiques moyennes de la population évoluent dans le temps vers des valeurs optimales

Page 3: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

3

questions soulevées par Baldwin (1896)"A new factor in evolution", The American Naturalist 30 (1896) 441-451

•la sélection naturelle est un processus "négatif"– l'évolution est seul fruit du hasard– les mutations qui ne confèrent pas de fitness disparaissent

•cependant– les paléontologues observent que certaines modifications se

produisent progressivement au cours des générations-> il y aurait un "sens" (une orientation) dans l'évolution

– il y a des discontinuités évolutives dans les gisements fossiles: comme si des étapes d'évolution intermédiaires manquaient

•Baldwin– les deux observations s'expliquent par l'interaction entre

l'apprentissage et l'évolution par une "sélection organique"

Page 4: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

4

l'effet Baldwin (sélection organique)

•grâce à leurs capacités d'apprentissage, les individus survivent en s'adaptant à des conditions environnementales adverses

– si l'environnement ne varie pas trop brutalement :les mutations les plus adaptatives sont celles qui transforment en congénital ce qui devait être appris

• l'apprentissage "guide " l'évolution, car il introduit un biais dans les mutations perennisées

•la capacité d'apprentissage augmente la variance génétique de la population (beaucoup d'individus ont un genotype très différent de la moyenne)

– lors d'un changement brutal de l'environnement, un cataclisme, seuls ces individus très différents (qui existent grâce a la capacité d'apprentissage) peuvent survivre

• l'apprentissage "accélère " l'évolution, il permet des sauts évolutifs

Page 5: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

5

plan

•modèle de Hinton et Nowlan (1987)“How learning guides evolution”

•critique, et modèle d’émergence de l’apprentissage

•discussion

Page 6: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

6

modèle de Hinton et Nowlan (H&N)

•population de N individus haploïdes, chacun possédant un réseau de neurones avec L connexions potentielles

•chaque individu :– génotype = vecteur de L gènes qui codent les connexions

• chaque gène possède 3 allèles :

1 connexion avec poids wi=+1

-1 connexion avec poids wi=-1

? connexion flexible, adaptable par apprentissage

• exemple de génotype : (1,1,-1,?,-1,......)

– le réseau de neurones confère fitness seulement si les connexions ont une configuration particulière : toutes égales à +1

génotype optimal : (1,1,1, ...,1)

Page 7: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

7

évolution: algorithme génétique

•générer une population initiale (n=0) de N individus: • N génotypes de la forme (1,-1,1,?,...,-1) [gènes tirés au hasard]

•évolution – pour chaque individu

• apprentissage : adapter les connexions flexibles (?) • fitness : évaluer l'adéquation à l'environnement

– nouvelle génération : n n+1• sélection: choisir les N individus de la génération suivante avec des

probabilités proportionnelles à leurs fitness– cross-over: on apparie les genomes; le nouvel individu a ses premiers

gènes hérités de son "père" et les derniers de sa "mère" (le point de coupure étant tiré au hasard)

• mutation: chaque gène est transformé en un des deux autres allèles avec probabilité Pmut

Page 8: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

8

•rappel : configuration "correcte" :

•apprentissage : • on tire au hasard les poids des connexions flexibles "?“

+1 ou -1

• G : nombre maximal d'essais permis• g : nombre d'essais vraiment effectués (g G)

• on arrête dès que l'on trouve la configuration +1 pour tous les "?"• ou si g atteint G

•le nombre d'essais g détermine la qualité (fitness) de l'individu

(1,1,....,1)

apprentissage dans le modèle H&N

Page 9: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

9

• définition :

– si en G tirages on ne trouve pas la configuration :– si le génotype contient au moins un "-1"

=1

•probabilité de sélection:

fitness dans le modèle H&N

L

0 100 200 300 400 500 600 7000

5

10

15

20 fitness function (H&N)L=20, G=500

(g)

g

(1,1,....,1)

G

g)1L(L

Page 10: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

10

description des résultats

•au niveau de chaque individu :– P = nombre d’allèles « 1 » du génome– Q=nombre d’allèles « ? »– R=nombre d’allèles « -1 »– P+Q+R=L

•pour décrire la population

– fitness

– population optimale : p=1, q=r=0 – fitness > 1 seulement si r=0, p+q=1

LR

r;LQ

q;LP

p

1rqp

Page 11: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

11

résultats

•sans apprentissage : fitness "plate"

• dans ce modèle : pas de phénotype -> seul l'apprentissage confère fitness

– évolution "chercher une aiguille dans une botte de foin“

•l'apprentissage permet que des génotypes proches de l'optimum aient une probabilité de sélection importante

•avec apprentissage : paysage de fitness ~ lame de rasoir

0 50 100 150 2000.0

0.2

0.4

0.6

0.8

1.0 pn

G=500

=0.0001 =0.01

L=20

n (generation number)

Page 12: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

12

critique du modèle H&N

•l'apprentissage accélère-t-il l'évolution ?– oui ...

• par rapport à une recherche aléatoire (non darwinienne) de l'optimum

["recherche d'une aiguille dans une botte de foin"]

– mais : • ce modèle ne permet pas de comparer des populations avec et sans

apprentissage car la fitness des individus incapables d'apprendre (avec Q=0) est minimale par construction (à l’exception de ceux avec P=L à la naissance).

•l'apprentissage guide-t-il l'évolution ?– le modèle ne répond pas à cette question

• pas de voies d'évolution alternatives

Page 13: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

13

modèle HN généralisé

•on “évalue” la fitness sur le phénotype : un réseau de neurones

•perceptron = le réseau de neurones le plus simple– entrées : poids des connexions :– sortie (ex. +1=mangeable, -1=poison)

•classification de "référence" (optimale) = “professeur” de poids

w = (w1,w2)x1w0

w1 wN

x0= -1

x1 xN

xw sign

)x,,x,x( L21 x

xw sign

)w,,w,w( L21 w

)w,,w,w(* *L

*2

*1 w

Page 14: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

14

perceptrons adaptables

•à chaque génération n – on génère un ensemble de M exemples x

• apprentissage : déterminer les poids w des connexions flexibles (codées par les allèles "?")

– initialiser :– on tire au hasard (+1 ou -1) les poids des Q connexions flexibles du

perceptron – m = 0

– pour =1 à M • si sign(w.x)=sign(w*.x) m = m+1• autrement on apprend x

[on modifie autant de poids flexibles que nécessaire pour changer le signe de la sortie]

•fitness : proportionnelle à m/M : fraction d'exemples bien classés

Page 15: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

15

paysage de fitness

modèle HN perceptrons avec M=100

Page 16: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

16

résultats

•chemins évolutifs : l'apprentissage ralentit l'évolution

•évolution des genotypes

Page 17: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

17

mais ...

•environnement fixe :– la capacité d’apprentissage se perd !

•question :– que se passe-t-il dans un environnement variable ?

Page 18: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

18

environnement variable

•deux états de la nature (deux perceptrons professeur qui s’alternent)

•poids optimaux :

•temps total d'apprentissage : G

•fréquence de changement : 2f

•temps d’apprentissage dans chaque environnement : T~G/2f

)1,1,1,,1,1(

)1,1,1,,1,1(

fv

fv

LL

*2

LL*1

w

w

Page 19: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

19

évolution

T~G/2fTc=51

T=30

T=112

Page 20: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

20

paysages de fitness

•deux chemins évolutifs suivant la fréquence des changements

2f=1 (T long) 2f=10 (T court)

on a le temps de s'adapter on ne s'adapte pas : on est performant la moitié du

temps

Page 21: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

21

conclusion

•l'apprentissage ralentit l'évolution

•si l'environnement est fixe, la capacité d'apprentissage se perd

•si l'environnement est variable, il y a deux alternatives :

• variation lente : – on s'adapte à l'environnement, – la capacité d'apprentissage a une valeur adaptative (confère "fitness")

• variation rapide :– on se spécialise (quitte à être mal adapté une fraction du temps)– on perd la capacité d'apprendre

Page 22: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

22

références

•modèle de Hinton et Nowlan– How learning guides evolution, Complex Systems 1 (1987) 495-502.

– Approximation analytique de Fontanari et Meir– The effect of learning on the evolution of asexual populations, Complex

Systems 4 (1990) 401-414.

•critique, et modèle d’émergence de l’apprentissage

– A model for the interaction of learning and evolution. H. Dopazo, M.B. Gordon, R. Perazzo et S. Risau Gusmán. Bulletin of Mathematical Biology 63 (N°1) (2001) 117-134

– A model for the emergence of adaptive subsystems. H. Dopazo, M.B. Gordon, R. Perazzo et S. Risau Gusmán. Bulletin of Mathematical Biology 65, vol./1(2003) 27-56

Merci de votre attention !