Embed Size (px)
DESCRIPTION
Vers un système de vision auto-adaptatif à base de systèmes multi-agents. par Jason MAHDJOUB Directrice de thèse : Zahia GUESSOUM Co-encadrant : Fabien MICHEL. Plan. Contexte & problématique Une approche SMA pour la segmentation adaptative Une approche SMA pour la représentation de formes - PowerPoint PPT Presentation
Citation preview
Vers un système de vision auto-adaptatif à base de
systèmes multi-agents.
par Jason MAHDJOUB
Directrice de thèse : Zahia GUESSOUMCo-encadrant : Fabien MICHEL
Soutenance de thèse (15/12/2011)
2Jason Mahdjoub (URCA, CReSTIC)
Plan
Contexte & problématique
Une approche SMA pour la segmentation adaptative
Une approche SMA pour la représentation de formes
Implémentations
Conclusions & perspectives
15/12/2011
3Jason Mahdjoub (URCA, CReSTIC)
Contexte & problématiques
Domaine : imagerie médicale Volumes de scanner ou d’IRM Volumes d’imagerie fonctionnelle
Automatisation de la reconnaissance des pathologies L’aide à la décision L’aide à la formation pédagogique
15/12/2011
4Jason Mahdjoub (URCA, CReSTIC)
Contexte & problématiques
15/12/2011
5Jason Mahdjoub (URCA, CReSTIC)
Contexte & problématiques
15/12/2011
SMA pour la segmentation en contours [Mahdjoub et al., 2006]
6Jason Mahdjoub (URCA, CReSTIC)
Contexte & problématiques
15/12/2011
SMA pour la segmentation en contours [Mahdjoub et al., 2006]
7Jason Mahdjoub (URCA, CReSTIC)
Contexte & problématiques
15/12/2011
SMA pour la segmentation en contours [Mahdjoub et al., 2006]
8Jason Mahdjoub (URCA, CReSTIC)
Contexte & problématiques
15/12/2011
Problème N° 1 de
segmentation
Définition des caractéristique
s
Définition de leurs relations
Définition de l’information
Élaboration d’un
algorithme
Segmentation adaptée au problème
N° 1
Segmentation adaptée au problème
N° x
Approches statistiques
Fuzzy C-Mean
Morphologie mathématique
Modèles déformables Généralisation difficileSystèmes compliqués,Systèmes rigides,Systèmes limités.
Paramétrage, calibrage
9
La vision artificielle
15/12/2011
10Jason Mahdjoub (URCA, CReSTIC)
La vision artificielle
La théorie de [Marr, 1982] :
Problèmes de la généralisation et de la rigidité toujours présents
15/12/2011
Haut niveau d’analyse : interprétation sémantique
Bas niveau d’analyse : détection de contours, détection de régions, description des formes
« voir » ne nécessite pas « comprendre »
« comprendre » ne nécessite pas « voir »
Influences
11Jason Mahdjoub (URCA, CReSTIC)
La vision artificielle
La vision active : Interactions entre les couches supérieures et les
couches inférieures à partir de résultats partiels [Simon, 2002]
Focalisation : traitement sur des zones d’intérêt [Macrouch et Tarroux, 2003]
Déplacement actif des points d’observation [Ballard, 1991]
Traitement réactif [Brooks, 1986]15/12/2011
12Jason Mahdjoub (URCA, CReSTIC)
La vision artificielle
Un processus distribué [Garbay, 2002]
Collaboration de plusieurs agents
Émergence de sens à travers une collaboration complexe
Vision prescriptive (acquisition de structures par l’expérience)
Construction par le système de sa propre réalité selon un principe de coévolution avec l’environnement
15/12/2011
13Jason Mahdjoub (URCA, CReSTIC)
La vision artificielle (synthèse)
Haut niveau d’analyse• reconnaissance de formes• interprétation sémantique
Base niveau d’analyse :• segmentation en région• segmentation en contour
Influences selon des résultats progressifs Micro-influences
Interactions complexes
15/12/2011
14Jason Mahdjoub (URCA, CReSTIC)
La vision artificielle
15/12/2011
Problème Cohabitation des approches et généralisation difficiles
Solution : système qui définit lui-même (et non le concepteur) ses processus, et leur cohabitation Gain en autonomie Exploration d’un vaste espace de solutions Auto-adaptation au lieu de généralisation
1515/12/2011
La vision artificielle et les systèmes complexes
16Jason Mahdjoub (URCA, CReSTIC)
La vision et les systèmes complexes
Caractéristiques des systèmes complexes [Morin, 1977, 1980] Écologie et représentation :
Réponse à une partie du problème de la représentation : dualité entre économie des ressources et prédiction de l’information
SynchronisationModèle stigmergique (phéromones, champs de potentiels…)
Stratégie :Développement de stratégies d’exploration des solutionsSuperposition quantique : la solution émerge de l’interférence
Très fortes interdépendances entre ces notions15/12/2011
Modèle de [Parunak et al. 2010]
17Jason Mahdjoub (URCA, CReSTIC)
Vers un système de vision auto-adaptatif
Développement de stratégies d’exploration
Synchronisation stigmergique
(d’inspiration quantique)
Segmentation adaptative de régions homogènes
connexes
Représentation de formes singulières
Reconnaissance de formes
15/12/2011
Représentation écologique
Inspiration
18Jason Mahdjoub (URCA, CReSTIC)
Vers un système de vision auto-adaptatif
Développement de stratégies d’exploration
Synchronisation stigmergique
(d’inspiration quantique)
15/12/2011
Représentation écologique
Segmentation adaptative de régions homogènes
connexes
Représentation de formes singulières
Reconnaissance de formes
Transition
19
Une approche multi-agent pour la segmentation adaptative
15/12/2011
20Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
Objectif du système : trouver la meilleure segmentation
15/12/2011
Segmentation
Évaluation
21Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
Évaluation dynamique :
Minimisation de l’erreur de prédiction des luminances des pixels
Minimisation du nombre d’entités/régions employées pour représenter l’image
Respect de la double contrainte écologie/erreur de prédiction des systèmes complexes
15/12/2011
22Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
Évaluation dynamique :
Contrainte locale : écart-type moyen de la segmentation
Contrainte globale : nombre de régions / nombre de pixels
15/12/2011
Nombre de régions
Nombre de pixels
Écart-type région i
Surface région i
23Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
Cas d’étude : Représenter chaque région par un agent Impossible de connaître, pour un agent, l’état de la
segmentation globale pour évaluer sa région Résolution locale de contraintes globales : sujet
parfaitement adapté pour un développement futur du modèle de [Parunak et al., 2010]
Stratégie adoptée : Recherche de la pire segmentation acceptable Fusion hiérarchique des régions obtenues /
mémorisation de la meilleure segmentation
15/12/2011
24Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Plusieurs phases :
1. Croissance et fusions de régions1.1 Croissance de régions1.2 Fusions de régions
2. Exploration de totale
3. Fusion hiérarchique
25Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Initialisation
26Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Croissance de régions (1.1)
27Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Exploration totale (2)
28Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Croissance de régions (1.1)
29Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Fusions (1.2)
Fusion ?
30Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Fusions (1.2)
31Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Fusions (1.2)
Fusion ? Fusion ?
Fusion ?
32Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Fusions (1.2)
33Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Fusions (1.2)
Fusion ? Fusion ?
34Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Fusions (1.2)
35Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Fusion hiérarchique (3)
36Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Résultat
37Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Agent évaluateur
Agents régionChaque agent région est un agent situé qui a un champ de perception limité : sa région et les agents région voisins
38Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Agent évaluateur
Agents région
Croissances de région autonome
Croissance de régions (1.1)
39Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
L’agent région (i) gère Luminance moyenne de sa région : Écart-type de sa région : Écart-type maximum autorisé (initialisé à 0) : Pourtour de sa région
15/12/2011
Croissance de régions (1.1)
40Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Agent évaluateur
Agents région
Proposition de fusions de régions
Fusions (1.2)
41Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Agent évaluateur
Agents région
Choix d’une fusion
Fusions (1.2)
42Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Agent évaluateur
Agents région
Exploration totale (2)
Estimation locale de la segmentation
43Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Agent évaluateur
Agents région
Estimation globale de la segmentation
Exploration totale (2)
44Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Agent évaluateur
Agents région
Choix entre :• relaxer la contrainte de croissance d’un agent région( >0.5)
OU• ajouter un nouvel agent région ( <0.5)
Le système reprend la croissance de région
Exploration totale (2)
45Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Agent évaluateur
Agents région
Proposition de la meilleure fusion pour chaque agent
Fusion hiérarchique (3)
46Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Agent évaluateur
Agents région
Délibération et choix de la meilleure fusion parmi tous les agents
Fusion hiérarchique (3)
47Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Agent évaluateur
Agents région
Application de la fusion
Fusion hiérarchique (3)
48Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la segmentation adaptative
15/12/2011
Agent évaluateur
Agents région
Mémorisation de la meilleure segmentation entre la précédente et la nouvelle acquise
Fusion hiérarchique (3)
49
Un approche SMA pour la représentation de formes
15/12/2011
??
??
50Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la représentation de formes
15/12/2011
Représentations de base Descripteurs de Fourier [Fourier, 1824] Morphologie mathématique [Serra, 1969] Squelettes [Blum, 1967] Moment, polygones de Guzman, chaines de Freeman, …
Utilisation de la transformée en ondelette [Mahdjoub et al., 2007] Représentation multi-échelle Représentation spatio-fréquentielle Neutralité
51Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la représentation de formes
15/12/2011
Forme originale Transformée en ondelettes
Objectif : sélectionner les coefficients d’ondelettes pertinents
52Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la représentation de formes
15/12/2011
Deux SMA distincts utilisés :
Un SMA capable de restituer la forme à partir de coefficients d’ondelette quelconques basé sur le principe d’attraction/répulsion de [Simonin et
Ferber, 2003]
Un SMA capable de sélectionner les coefficients d’ondelette pertinents pour la restitution
53Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la représentation de formes
15/12/2011
Test du 1er coefficient (niveau 1)
SMA restitution
Comparaison avec la forme originale / évaluation
Agent racine
Agents nœud
54Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la représentation de formes
15/12/2011
Test du 2ème coefficient (niveau 1)
Agent racine
Agents nœud
55Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la représentation de formes
15/12/2011
Test du 3ème coefficient (niveau 1)
Agent racine
Agents nœud
56Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la représentation de formes
15/12/2011
Test du 4ème coefficient (niveau 1)
Agent racine
Agents nœud
57Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la représentation de formes
15/12/2011
Sélection d’un coefficient (niveau 1)
Sélection d’un coefficient (niveau 2)
Sélection d’un coefficient (niveau 3)
58Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la représentation de formes
15/12/2011
Restitution de formes à partir de coefficients quelconques :
Forme originale Forme restituée
59Jason Mahdjoub (URCA, CReSTIC)
Notre approche SMA pour la représentation de formes
15/12/2011
Avantages :
Représentation de la forme multi-échelle
Discrimination progressive
60Jason Mahdjoub (URCA, CReSTIC)
Implémentations
15/12/2011
Plateforme TI (Open Source) : CIPORG Utilisée pour tous nos modèles Utilisée lors d’une collaboration (Université de Minho,
Portugal)
MadKitGroupExtension (Open Source)
61Jason Mahdjoub (URCA, CReSTIC)
Implémentations
15/12/2011
SMA à segmentation en contours
Notre approche SMA pour la segmentation adaptiveValidation de la fonction d’évaluation
Notre SMA pour la représentation de formesValidation du SMA responsable de la restitution de
formes à partir de coefficients d’ondelette quelconques
62Jason Mahdjoub (URCA, CReSTIC)
Conclusions
15/12/2011
Principales contributions :
Perspective globale sur un système auto-adaptatif de vision
Approche multi-agent adaptative pour la segmentation de régions
Approche multi-agent pour la représentation de formes
63Jason Mahdjoub (URCA, CReSTIC)
Conclusions
15/12/2011
Approche segmentation
Approche représentation
Absence de seuils fixés par l’utilisateur :
méthodes adaptatives
Propriétés de systèmes de vision obtenues
Analyse multi-échelle ou hiérarchique de
l’informationModèles distribués
64Jason Mahdjoub (URCA, CReSTIC)
Conclusions
15/12/2011
Analyse progressive à développer
Propriétés de systèmes de vision obtenues
Analyse progressive
effective
Approche segmentation
Approche représentation
65Jason Mahdjoub (URCA, CReSTIC)
Conclusions
15/12/2011
Modèles multi-agents normatifs [Garbay, 2002]
à développer
Propriétés de systèmes de vision obtenues
Approche segmentation
Approche représentation
66Jason Mahdjoub (URCA, CReSTIC)
Conclusions
15/12/2011
Propriétés de systèmes complexes
Équilibre entre représentation fidèle et écologie
Approche segmentation
Approche représentation
Synchronisation stigmergique à développer [Parunak et al., 2010]
Stratégie, méta-stratégie à développer
Auto-adaptativité à développer
67Jason Mahdjoub (URCA, CReSTIC)
Perspectives
15/12/2011
Approche segmentation
Approche représentation
Élargissement à des
représentations superposées
Perspectives dans le domaine du TI/Vision :
Élargissement à la segmentation
de régions hétérogènes
Reconnaissance de formes
Élargissement à la segmentation de
régions non connexes
68Jason Mahdjoub (URCA, CReSTIC)
Perspectives
15/12/2011
Approche segmentation
Approche représentation
Perspectives dans le domaine de la vision auto-adaptative :
Re-modélisation sur la base d’un modèle stigmergique et d’un
mécanisme quantique
Généralisation des mécanismes de traitement de l’information : autonomie de la stratégie développée par le système
Utilisation d’un mécanisme évolutionnaire
Squelette
Vers un système de vision auto-adaptatif à base de
systèmes multi-agents.
par Jason MAHDJOUB
Directrice de thèse : Zahia GUESSOUMCo-encadrant : Fabien MICHEL
Soutenance de thèse (15/12/2011)
A tout de suite…Bâtiment Z – 1er étage
71Jason Mahdjoub (URCA, CReSTIC)
Modèle de [Parunak et al., 2010]
15/12/2011
72Jason Mahdjoub (URCA, CReSTIC)
Modèle de [Parunak et al., 2010]
15/12/2011
73Jason Mahdjoub (URCA, CReSTIC)
Modèle de [Parunak et al., 2010]
15/12/2011
74Jason Mahdjoub (URCA, CReSTIC)
Modèle de [Parunak et al., 2010]
15/12/2011
75Jason Mahdjoub (URCA, CReSTIC)
Modèle de [Parunak et al., 2010]
15/12/2011
76Jason Mahdjoub (URCA, CReSTIC)
Superposition quantique
15/12/2011
A1 A2 A3 A4 A5 A6
A1 A2 A3 A4 A5 A6A1 A2 A3 A4 A5 A6
A1 A2 A3 A4 A5 A6
77Jason Mahdjoub (URCA, CReSTIC)
Superposition quantique
15/12/2011
A1 A2 A3 A4 A5 A6
A1 A2 A3 A4 A5 A6A1 A2 A3 A4 A5 A6
A1 A2 A3 A4 A5 A6
78Jason Mahdjoub (URCA, CReSTIC)
Superposition quantique
15/12/2011
A1 A2 A3 A4 A5 A6
A1 A2 A3 A4 A5 A6A1 A2 A3 A4 A5 A6
A1 A2 A3 A4 A5 A6
