36
1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

Embed Size (px)

Citation preview

Page 1: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

1

Amal Elouarari

Commerce électronique: systèmes et architectures

Avril 2003

Page 2: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

2

Plan de la présentationPlan de la présentation

L’apprentissage: aperçu général– Modèle général d’un agent qui apprend

– Présentation de quelques techniques d’apprentissage

L’apprentissage dans les systèmes multi agents– De l ’apprentissage mono-agent à multi-agent

– Qu ’apprend un agent dans un SMA ?

– Caractéristiques multi-agents des apprentissages

Conclusion

Page 3: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

3

De l'apprentissage "mono agent" à “multi agents”De l'apprentissage "mono agent" à “multi agents”

L'apprentissage en IA

système interagissant globalement avec son environnement

= Base de connaissances + module d‘ exécution

L'apprentissage porte sur :

stratégie

performance algorithmique

forme des connaissances

Page 4: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

4

De l'apprentissage "mono agent" à “multi agents”

De l'apprentissage "mono agent" à “multi agents”

Pourquoi?

Complexité des SMA

profiter de l’expérience des autres

Système ouvert

Réduire la communication

Page 5: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

5

De l'apprentissage "mono agent" à “multi gents”

De l'apprentissage "mono agent" à “multi gents”

Difficulté : Réutiliser en IADEn IA : Processus cognitifEn IAD : Processus social

Page 6: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

6

De l'apprentissage "mono agent" à “multi gents”

De l'apprentissage "mono agent" à “multi gents”

Communiquer et apprendre [Feber 95]

”Les interactions s'expriment ... à partir d'une série d'actions dont les conséquences exercent en retour une influence sur le

comportement futur des agents".

L’apprentissage intègre une phase de communication :

Classification

Page 7: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

7

De l'apprentissage "mono agent" à “multi gents”

De l'apprentissage "mono agent" à “multi gents”

[Brazdil et al 91] définissent des catégories d'apprentissage d’après le

moment de communication :

Avant l'apprentissage : échange de données ---> apprentissage centralisé dans un agent

Pendant l'apprentissage : les agents apprennent en même temps qu'ils envoient leurs données----> besoin d'algorithme d'apprentissage spécialisé

Après l'apprentissage : intégration des connaissances Après l’apprentissage : intégration distribuée du problème

Page 8: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

8

De l'apprentissage "mono agent" à “multi gents”

De l'apprentissage "mono agent" à “multi gents”

Communiquer pour apprendre Les communications :

– Partie de l’apprentissage

* apprentissage distribué par échange de message (Protocole de négociation)

* feedback pour l’apprentissage par renforcement (comportement social)

Page 9: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

9

Source de données :

* l’agent apprend directement sur le contenu de l’acte qu’il reçoit

* l’agent apprend indirectement sur l’acte dans sa forme :

1.èvaluer la pertinence de l’agent émetteur

2.“En identifiant quel acte de langage a été effectué, l’agent qui écoute apprend que l’émetteur croit les différentes pré conditions du plan qui mènent a effectuer cet acte ” [Cohen et al 79]

De l'apprentissage "mono agent" à “multi gents”

De l'apprentissage "mono agent" à “multi gents”

Page 10: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

10

Qu’apprend un agent dans SMA ?Qu’apprend un agent dans SMA ?

Les axes de classifications :

• Le système multi agent :

le point de convergence de plusieurs axes d'analyse.

• l'approche Vowels décompose l'analyse d'un système multi agents selon quatre facettes :

. Agent, . Environnement, .Interaction, . Organisation.

Page 11: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

11

Qu’apprend un agent dans SMA ?Qu’apprend un agent dans SMA ?

Page 12: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

12

Apprentissage centré AgentApprentissage centré Agent

Ses propres comportementsmieux organiser ses actions pour atteindre ses buts.

Plusieurs comportements possibles

‘’Un agent dispose de plusieurs comportements possibles par l’historique du comportement passé, il peut décider d’adopter un comportement alternatif ‘’

Page 13: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

13

Apprentissage centré Agent Apprentissage centré Agent

La représentation des autres Nécessité de l’apprentissage :

Un nouvel agent arriveconstruire une représentation (direct ou par annuaire central)Protocole de présentation

Un ancien agent présente un comportement variable – des différences p/r à sa présentation

L’apprentissage se fait par interprétation des actions de l’agent en confrontant le résultat observé a celui attendu.

Page 14: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

14

Apprentissage centré Agent Apprentissage centré Agent

Exemple :

agent d’interfacequand l’agent ne sait pas répondre à une requête, il s’adresse aux agents pour lesquels il sait qu’ils peuvent y répondre.

Pour affiner sa représentation des autres, il leur demande de répondre à une requête qu’il sait traiter pour évaluer la qualité de leurs réponses.

Page 15: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

15

Apprentissage centré EnvironnementApprentissage centré Environnement

Deux cas :

mettre à jour une connaissance erronée de l’agent sur son environnement

acquérir des connaissances sur des parties de l’environnement inaccessibles

Page 16: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

16

Apprentissage centré EnvironnementApprentissage centré Environnement

Raffinement des connaissances sur l’environnement

en cas de connaissance fausse ou incomplète

par apprentissage interne ou perception d’informations supplémentaires.

Définir des modèles pour raffiner la connaissance

Page 17: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

17

Apprentissage centré Environnement

Apprentissage centré Environnement

Suite à une erreur détectée :

spécialiser sa connaissance pour que l’erreur ne se produise plus.

[Byrne et al.96]

apprentissage de concepts par intégration de situations de l’environnement observé :

à chaque intégration d’une nouvelle situation

* modifier les liens entre concepts

* créer de nouveaux noeuds conceptuels [CARAMEL Sabah.97]

Page 18: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

18

Apprentissage centré Environnement

Apprentissage centré Environnement

Les perceptions distribuées de l’environnement

chaque agent perçoit une partie de l’environnement

coopérer pour apprendre

Protocole d’interaction

Page 19: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

19

Apprentissage centré Environnement

Apprentissage centré Environnement

Système MALE de [Sian.91]

(Multi Agent Learning Environment)

contexte d’application des cours de marché du thé, du café, du cacao...

Chaque agent connaît une partie

pour prédire les fluctuations du marché,les agents négocient en introduisant leurs points de vue

[Davies et al.95]

les agents ont chacun accès à une base de données

ils communiquent pour partager des données, des résultats partiels ou le résultat complet.

Page 20: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

20

Apprentissage centré InteractionApprentissage centré Interaction

Utilisation des interactions :

– un agent dispose de plusieurs actes – il apprend à mieux les utiliser :

les adresser à des agents mieux choisis différer leur émission

Deux aspects des interactions peuvent

être appris : concepts ou intentions implicites dans une communication

utilisation de protocoles d’interaction

Page 21: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

21

Apprentissage centré InteractionApprentissage centré Interaction

La sémantique des communications

– la sémantique utilisée dépend de chaque agent– possibilité d’incompréhension et échec de l’acte

S’accorder sur une sémantique commune de l’acte par

l’apprentissage .Par exemple : un modèle de négociation des relations sociales dans les

communications :position d’autorité.

Si l’un des deux agents n’en a pas conscience, il l’apprend par négociation

Page 22: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

22

Apprentissage centré InteractionApprentissage centré Interaction

Les protocoles d’interaction

– les agents interagissent dans le cadre de protocoles– l’apprentissage : les agents possèdent des moyens

d’évaluation de leurs interactions.

– L’évaluation : les messages reçus en retour à des messages émis caractéristiques de ces messages (délai de réponse...)

Page 23: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

23

Apprentissage centré InteractionApprentissage centré Interaction

Illustration :

modèle où chaque agent dispose d’un ensemble de squelettes (partie de protocole les concernant).

Par les interactions :

induire des protocoles d’interactions globaux

relations entre les actes.

Page 24: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

24

Apprentissage centré OrganisationApprentissage centré Organisation

L’organisation = cadre dans lequel les agents vont interagir

Pour la définir :

– normes contraignant la liberté des agents– des rôles assignés aux agents– structure d’actions coordonnées

par graphe de relations (autorité...)

Page 25: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

25

Apprentissage centré Organisation

Apprentissage centré Organisation

Deux aspects : les agents en sont conscients :

l’organisation est explicitement implantée (centralisée ou distribuée) dans chaque agent

chaque agent connaît son rôle et ceux des agents avec qui va interagir

Organisation émergente :uniquement constatée par un observateur

Page 26: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

26

Apprentissage centré Organisation

Apprentissage centré Organisation

L’apprentissage centré organisation modifie l’organisation existante pour :

Une meilleure coordination des actions une meilleure répartition des rôles ...

Page 27: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

27

Apprentissage centré Organisation

Apprentissage centré Organisation

La coordinationLes agents construisent un plan de coordination

l’apprentissage a lieu après l’exécution de ce plan

[Weiss 93] : les agents proposent plusieurs actions pour la situation courante les actions sont dotées d’une mise selon leur pertinence

(estimée par l’agent) plan global de coordination Suivant le succès du plan d’actions, les agents modifient les mises

de leurs actions.

Page 28: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

28

Apprentissage centré Organisation

Apprentissage centré Organisation

Illustration [Sen et al.98] :

deux agents poussent un cube suivant un chemin défini :

- Observer la position du cube p/r au chemin après chaque poussée

- Modifier la force et l’angle associés à la pression exercée dans la situation courante

Par l’apprentissage, ils finissent par exercer des poussées complémentaires pour déplacer le cube plus rapidement à deux.

Page 29: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

29

Apprentissage centré Organisation

Apprentissage centré Organisation

Les rôles les agents disposent de plusieurs rôles choisir un rôle suivant la situation courante et

les spécificités de chaque agent L’objectif de l’apprentissage est de rendre le

choix du rôle judicieux

Dans certains cas, l’agent peut modifier les rôles existants

Page 30: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

30

Apprentissage centré Organisation

Apprentissage centré Organisation

Robots footballeurs [Aubineau et al.97]

Situation :position du ballon par rapport au robot

choisir : frappeur ou défenseur

évaluer le succès dans un futur proche : un but est marqué ou non

Rôles fusionnés (poids équivalents) :

succession des comportements des rôles fusionnés(frapper puis défendre)

Apprentissage par renforcement :rôles complémentaires pour les agents d’une même équipe

Page 31: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

31

Apprentissage centré Organisation

Apprentissage centré Organisation

L’auto organisationréorganiser après détection d’une incohérence ou

conflit

[Camps 98] :

les agents , en propageant les messages reçus qui ont mis en évidence le problème, finissent par trouver un agent compétent.

Page 32: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

32

Les caractéristiques multi agents des apprentissages

Les caractéristiques multi agents des apprentissages

La distribution

l’asynchronisme

la coopération

Interprétations des interactions

Page 33: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

33

Les caractéristiques multi agents des apprentissages

Les caractéristiques multi agents des apprentissages

Difficulté de spécifier pour chacun des types d’apprentissage le domaine d’application :

domaine à faible interaction

(apprentissage de ses propres comportements) domaine à forte coopération

représentation des autres ou de la coordination domaine naturellement distribué

auto organisation - apprentissage des perceptions domaine composé d’agents hétérogènes

apprentissage des rôles ou de la coordination

Page 34: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

34

ConclusionConclusion

Pourquoi apprendre(Complexité, système ouvert, comportement inconnu)

Quoi apprendre(Compétence, organisation, coordination, communication)

Comment apprendre (isole ou interactif, intégrer l’expérience des autres ...)

Type d’apprentissage approprié :

partir des caractéristiques multi agent

Page 35: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

35

RéférencesRéférences

[Davies et al.95] Davies(W.H.E) et Edwards(P.) – Distributed learning : An agnt-based approach to data-mining. In : Proceedings o ML95

[Sen et al.98] Sen(S.),Sekeran(M.) et Hale(J.) – Learning to coordinate without sharing information. In : Readings in Agents, èd . Par Huhns(M.N.) et Singh (M.)

[Sian91] Sian(S.S.) –Adaptation based on coopative learning in multi-agent systems. In Decontralized A. 2,èd par Demazeau(Y.) et Muller (J-P.)

[Weiss93] Weiss (G) –Learning to coordinate actions in multi-agent systems. In : 13th intrnational Joint Conerene on Artiicial Intelligence.

Page 36: 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

36

Des questionsDes questions