1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

1

Amal Elouarari

Commerce électronique: systèmes et architectures

Avril 2003

2

Plan de la présentationPlan de la présentation

L’apprentissage: aperçu général– Modèle général d’un agent qui apprend

– Présentation de quelques techniques d’apprentissage

L’apprentissage dans les systèmes multi agents– De l ’apprentissage mono-agent à multi-agent

– Qu ’apprend un agent dans un SMA ?

– Caractéristiques multi-agents des apprentissages

Conclusion

3

De l'apprentissage "mono agent" à “multi agents”De l'apprentissage "mono agent" à “multi agents”

L'apprentissage en IA

système interagissant globalement avec son environnement

= Base de connaissances + module d‘ exécution

L'apprentissage porte sur :

stratégie

performance algorithmique

forme des connaissances

4

De l'apprentissage "mono agent" à “multi agents”

De l'apprentissage "mono agent" à “multi agents”

Pourquoi?

Complexité des SMA

profiter de l’expérience des autres

Système ouvert

Réduire la communication

5

De l'apprentissage "mono agent" à “multi gents”

De l'apprentissage "mono agent" à “multi gents”

Difficulté : Réutiliser en IADEn IA : Processus cognitifEn IAD : Processus social

6

De l'apprentissage "mono agent" à “multi gents”

De l'apprentissage "mono agent" à “multi gents”

Communiquer et apprendre [Feber 95]

”Les interactions s'expriment ... à partir d'une série d'actions dont les conséquences exercent en retour une influence sur le

comportement futur des agents".

L’apprentissage intègre une phase de communication :

Classification

7

De l'apprentissage "mono agent" à “multi gents”

De l'apprentissage "mono agent" à “multi gents”

[Brazdil et al 91] définissent des catégories d'apprentissage d’après le

moment de communication :

Avant l'apprentissage : échange de données ---> apprentissage centralisé dans un agent

Pendant l'apprentissage : les agents apprennent en même temps qu'ils envoient leurs données----> besoin d'algorithme d'apprentissage spécialisé

Après l'apprentissage : intégration des connaissances Après l’apprentissage : intégration distribuée du problème

8

De l'apprentissage "mono agent" à “multi gents”

De l'apprentissage "mono agent" à “multi gents”

Communiquer pour apprendre Les communications :

– Partie de l’apprentissage

* apprentissage distribué par échange de message (Protocole de négociation)

* feedback pour l’apprentissage par renforcement (comportement social)

9

Source de données :

* l’agent apprend directement sur le contenu de l’acte qu’il reçoit

* l’agent apprend indirectement sur l’acte dans sa forme :

1.èvaluer la pertinence de l’agent émetteur

2.“En identifiant quel acte de langage a été effectué, l’agent qui écoute apprend que l’émetteur croit les différentes pré conditions du plan qui mènent a effectuer cet acte ” [Cohen et al 79]

De l'apprentissage "mono agent" à “multi gents”

De l'apprentissage "mono agent" à “multi gents”

10

Qu’apprend un agent dans SMA ?Qu’apprend un agent dans SMA ?

Les axes de classifications :

• Le système multi agent :

le point de convergence de plusieurs axes d'analyse.

• l'approche Vowels décompose l'analyse d'un système multi agents selon quatre facettes :

. Agent, . Environnement, .Interaction, . Organisation.

11

Qu’apprend un agent dans SMA ?Qu’apprend un agent dans SMA ?

12

Apprentissage centré AgentApprentissage centré Agent

Ses propres comportementsmieux organiser ses actions pour atteindre ses buts.

Plusieurs comportements possibles

‘’Un agent dispose de plusieurs comportements possibles par l’historique du comportement passé, il peut décider d’adopter un comportement alternatif ‘’

13

Apprentissage centré Agent Apprentissage centré Agent

La représentation des autres Nécessité de l’apprentissage :

Un nouvel agent arriveconstruire une représentation (direct ou par annuaire central)Protocole de présentation

Un ancien agent présente un comportement variable – des différences p/r à sa présentation

L’apprentissage se fait par interprétation des actions de l’agent en confrontant le résultat observé a celui attendu.

14

Apprentissage centré Agent Apprentissage centré Agent

Exemple :

agent d’interfacequand l’agent ne sait pas répondre à une requête, il s’adresse aux agents pour lesquels il sait qu’ils peuvent y répondre.

Pour affiner sa représentation des autres, il leur demande de répondre à une requête qu’il sait traiter pour évaluer la qualité de leurs réponses.

15

Apprentissage centré EnvironnementApprentissage centré Environnement

Deux cas :

mettre à jour une connaissance erronée de l’agent sur son environnement

acquérir des connaissances sur des parties de l’environnement inaccessibles

16

Apprentissage centré EnvironnementApprentissage centré Environnement

Raffinement des connaissances sur l’environnement

en cas de connaissance fausse ou incomplète

par apprentissage interne ou perception d’informations supplémentaires.

Définir des modèles pour raffiner la connaissance

17

Apprentissage centré Environnement

Apprentissage centré Environnement

Suite à une erreur détectée :

spécialiser sa connaissance pour que l’erreur ne se produise plus.

[Byrne et al.96]

apprentissage de concepts par intégration de situations de l’environnement observé :

à chaque intégration d’une nouvelle situation

* modifier les liens entre concepts

* créer de nouveaux noeuds conceptuels [CARAMEL Sabah.97]

18

Apprentissage centré Environnement

Apprentissage centré Environnement

Les perceptions distribuées de l’environnement

chaque agent perçoit une partie de l’environnement

coopérer pour apprendre

Protocole d’interaction

19

Apprentissage centré Environnement

Apprentissage centré Environnement

Système MALE de [Sian.91]

(Multi Agent Learning Environment)

contexte d’application des cours de marché du thé, du café, du cacao...

Chaque agent connaît une partie

pour prédire les fluctuations du marché,les agents négocient en introduisant leurs points de vue

[Davies et al.95]

les agents ont chacun accès à une base de données

ils communiquent pour partager des données, des résultats partiels ou le résultat complet.

20

Apprentissage centré InteractionApprentissage centré Interaction

Utilisation des interactions :

– un agent dispose de plusieurs actes – il apprend à mieux les utiliser :

les adresser à des agents mieux choisis différer leur émission

Deux aspects des interactions peuvent

être appris : concepts ou intentions implicites dans une communication

utilisation de protocoles d’interaction

21

Apprentissage centré InteractionApprentissage centré Interaction

La sémantique des communications

– la sémantique utilisée dépend de chaque agent– possibilité d’incompréhension et échec de l’acte

S’accorder sur une sémantique commune de l’acte par

l’apprentissage .Par exemple : un modèle de négociation des relations sociales dans les

communications :position d’autorité.

Si l’un des deux agents n’en a pas conscience, il l’apprend par négociation

22

Apprentissage centré InteractionApprentissage centré Interaction

Les protocoles d’interaction

– les agents interagissent dans le cadre de protocoles– l’apprentissage : les agents possèdent des moyens

d’évaluation de leurs interactions.

– L’évaluation : les messages reçus en retour à des messages émis caractéristiques de ces messages (délai de réponse...)

23

Apprentissage centré InteractionApprentissage centré Interaction

Illustration :

modèle où chaque agent dispose d’un ensemble de squelettes (partie de protocole les concernant).

Par les interactions :

induire des protocoles d’interactions globaux

relations entre les actes.

24

Apprentissage centré OrganisationApprentissage centré Organisation

L’organisation = cadre dans lequel les agents vont interagir

Pour la définir :

– normes contraignant la liberté des agents– des rôles assignés aux agents– structure d’actions coordonnées

par graphe de relations (autorité...)

25

Apprentissage centré Organisation

Apprentissage centré Organisation

Deux aspects : les agents en sont conscients :

l’organisation est explicitement implantée (centralisée ou distribuée) dans chaque agent

chaque agent connaît son rôle et ceux des agents avec qui va interagir

Organisation émergente :uniquement constatée par un observateur

26

Apprentissage centré Organisation

Apprentissage centré Organisation

L’apprentissage centré organisation modifie l’organisation existante pour :

Une meilleure coordination des actions une meilleure répartition des rôles ...

27

Apprentissage centré Organisation

Apprentissage centré Organisation

La coordinationLes agents construisent un plan de coordination

l’apprentissage a lieu après l’exécution de ce plan

[Weiss 93] : les agents proposent plusieurs actions pour la situation courante les actions sont dotées d’une mise selon leur pertinence

(estimée par l’agent) plan global de coordination Suivant le succès du plan d’actions, les agents modifient les mises

de leurs actions.

28

Apprentissage centré Organisation

Apprentissage centré Organisation

Illustration [Sen et al.98] :

deux agents poussent un cube suivant un chemin défini :

- Observer la position du cube p/r au chemin après chaque poussée

- Modifier la force et l’angle associés à la pression exercée dans la situation courante

Par l’apprentissage, ils finissent par exercer des poussées complémentaires pour déplacer le cube plus rapidement à deux.

29

Apprentissage centré Organisation

Apprentissage centré Organisation

Les rôles les agents disposent de plusieurs rôles choisir un rôle suivant la situation courante et

les spécificités de chaque agent L’objectif de l’apprentissage est de rendre le

choix du rôle judicieux

Dans certains cas, l’agent peut modifier les rôles existants

30

Apprentissage centré Organisation

Apprentissage centré Organisation

Robots footballeurs [Aubineau et al.97]

Situation :position du ballon par rapport au robot

choisir : frappeur ou défenseur

évaluer le succès dans un futur proche : un but est marqué ou non

Rôles fusionnés (poids équivalents) :

succession des comportements des rôles fusionnés(frapper puis défendre)

Apprentissage par renforcement :rôles complémentaires pour les agents d’une même équipe

31

Apprentissage centré Organisation

Apprentissage centré Organisation

L’auto organisationréorganiser après détection d’une incohérence ou

conflit

[Camps 98] :

les agents , en propageant les messages reçus qui ont mis en évidence le problème, finissent par trouver un agent compétent.

32

Les caractéristiques multi agents des apprentissages

Les caractéristiques multi agents des apprentissages

La distribution

l’asynchronisme

la coopération

Interprétations des interactions

33

Les caractéristiques multi agents des apprentissages

Les caractéristiques multi agents des apprentissages

Difficulté de spécifier pour chacun des types d’apprentissage le domaine d’application :

domaine à faible interaction

(apprentissage de ses propres comportements) domaine à forte coopération

représentation des autres ou de la coordination domaine naturellement distribué

auto organisation - apprentissage des perceptions domaine composé d’agents hétérogènes

apprentissage des rôles ou de la coordination

34

ConclusionConclusion

Pourquoi apprendre(Complexité, système ouvert, comportement inconnu)

Quoi apprendre(Compétence, organisation, coordination, communication)

Comment apprendre (isole ou interactif, intégrer l’expérience des autres ...)

Type d’apprentissage approprié :

partir des caractéristiques multi agent

35

RéférencesRéférences

[Davies et al.95] Davies(W.H.E) et Edwards(P.) – Distributed learning : An agnt-based approach to data-mining. In : Proceedings o ML95

[Sen et al.98] Sen(S.),Sekeran(M.) et Hale(J.) – Learning to coordinate without sharing information. In : Readings in Agents, èd . Par Huhns(M.N.) et Singh (M.)

[Sian91] Sian(S.S.) –Adaptation based on coopative learning in multi-agent systems. In Decontralized A. 2,èd par Demazeau(Y.) et Muller (J-P.)

[Weiss93] Weiss (G) –Learning to coordinate actions in multi-agent systems. In : 13th intrnational Joint Conerene on Artiicial Intelligence.

36

Des questionsDes questions