View
104
Download
0
Category
Preview:
Citation preview
CORESA, 25 mai 2004 - Lille
Laboratoire d'InfoRmatique en Image et Systèmes d'informationFRE 2672 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de Lyon,
Université Claude Bernard Lyon1 - Bâtiment Nautibus43, boulevard du 11 Novembre 1918 – F- 69622 Villeurbanne Cedex
http://liris.cnrs.fr
FRE 2672
Nicolas.Zlatoff@liris.cnrs.fr – http://liris.cnrs.fr/~nzlatoff
Vision Gestalt et connaissancesUne approche générique à l’interprétation d’images
N. Zlatoff B. Tellez A. Baskurt
CORESA, 25 mai 2004 – Lille
Contexte & problématiqueAugmentation du volume d’images numériques
Nécessité d’outil d’indexation Sémantique Automatique
Des outils content-based limités au bas-niveau QBIC [Niblack-93], VisualSEEk [Smith-96]
[Niblack-93] W. Niblack, R. Barber, W. Equitz, et al. « The QBIC Project : Querying Images by Content Using Color, Texture and Shape », in Proceedings of Storage and Retrieval for Image and Video Databases, Bellingham, WA, 1993, Vol. 1908, pp. 173-187.
[Smith-96] J. Smith, S. Chang, « Tools and Techniques for Color Image Retrieval », in Proceedings of The Symposium on Electronic Imaging : Science and Technology Storage and Retrieval for Image and Video Databases IV , San Jose, CA, 1996, pp. 426-437,
CORESA, 25 mai 2004 – Lille
État de l’artSystèmes knowledge-based Schema [Draper-89], SIGMA [Matsuyama-90] Dépendants des connaissances du domaine (procédurales) Limités à un domaine
Outils de groupements perceptuels Génériques, déconnectés des connaissances [Vasseur-99] Extraient des objets non sémantiques (intermédiaires)
[Draper-89] B.A. Draper, R. Colins, J. Brolio et al. « The Schema System », International Journal of Computer Vision, Vol. 2, 3, 1989, pp 209-250. [Matsuyama-90] T. Matsuyama, V. Hwang, «SIGMA: A Knowledge-Based Aerial Image Understanding System», Plenum, New-York, 1990.[Vasseur-99] P. Vasseur, C. Pégard, M. Mouaddib et al, “Perceptual Organization Approach by Dempster-Schafer Theory”, Pattern Recognition, Vol. 32, 1999, pp. 1449-1462.
Perception ConnaissancesMécanismes
innésConnaissances
Mécanismesinnés
CORESA, 25 mai 2004 – Lille
Description intermédiaire
PositionnementExternaliser les connaissances du domaine et y accéder « au besoin » Ontologies
Ontologie du domaine
contrôle
Image segmentée
Description topologique
Groupementperceptuel
Description sémantique
CORESA, 25 mai 2004 – Lille
Groupement perceptuel (1/2)Aboutir à des objets intermédiaires
Vision Gestalt (approche nativiste) [Wertheimer-58] « Le tout est plus que la somme des parties » Mécanismes de groupements successifs selon 5 propriétés
Proximité (a et b), similarité (c), fermeture (d), continuité (e), symétrie
[Wertheimer-58] M. Wertheimer, Principles of Perceptual Organization, Readings in Perception, pp. 115-135, 1958
.
(a) (b) (c) (d) (e)
CORESA, 25 mai 2004 – Lille
Groupement perceptuel (2/2)A partir du RAG, calcul d’une distance perceptuelle entre les régions i et j: DPij = Dij x Fij x Cij
Dij différence entre les descripteurs bas-niveaux
Fij mesure de l’imbrication mutuelle (fermeture)
Cij favorise la fusion de petites régions (vers une continuité)
Basé sur [Idrissi-03]
n
kkikjij ddD
0
2,, )(
[Idrissi-03] K. Idrissi, G. Lavoué, J. Ricard, et al. « An Object of Interest based Visual Navigation, Retrieval and Semantic Content Identification System», Computer Vision and Image Understanding: Special Issue on Colour for Image Indexing and Retrieval, to appear, 2003.
ij
jiij P
PPF
4
),min(
1
)( MinPixNouMinPixNsiC jiij
CORESA, 25 mai 2004 – Lille
Groupement perceptuel (2/2)Réduction itérative du RAGCritères d’arrêt: DPij < seuil_max Nombre d’objets intermédiaires > nb_min
Question du contrôle et du paramétrage Qu’attend-on? … Qu’est-ce qu’un objet intermédiaire pertinent ? Appel aux connaissances
Image Image segmentée Groupement perceptuel
CORESA, 25 mai 2004 – Lille
Modèle de scène (apparition dans l’image) Objets sémantiques
Taille relative, forme, propriétés « intrinsèques »
Relations topologiques InclusionAdjacence & voisinage (dessus, dessous, gauche, droite)
Composition de la scène « tous les objets ne sont pas pertinents à tous les niveaux
de détail » Groupements perceptuels successifs dans un contexte
simplifié
Scène
OS 1 OS 2 OS 3 OS 4
OS 5OS 6 OS 7 OS 8
OS 11 OS 10 OS 9
N i
v e
a u
d e
d
é t
a i l
Composants primaires
Composants d’ordre 2
Composant d’ordre 3
Modélisation des connaissances
GR
OU
PE
ME
NT
PE
RC
EP
TU
EL
Descriptionprimaire
Descriptiond’ordre 2
Descriptiond’ordre 3
CORESA, 25 mai 2004 – Lille
Contrôle par les connaissancesParamétrage du groupement par les connaissances MinPix ≡ Taille des objets attendus Critères d’arrêt en fonction des objets attendus et du niveau
de composition
Interprétation a posteriori des groupements Initialisation: exploitation des contraintes de scène Propagation de la connaissance
inférence, logique d’ordre 1
Relaxation: vérification de la cohérence
CORESA, 25 mai 2004 – Lille
Domaine d’étudeStèles thessaliennes Bloc de pierre peint et sculpté dans la Grèce Antique Fournies par la Maison de l’Orient et de la Méditerranée
(MOM)
Couronnement
Corps
Geison
Rosettes
Tainia
CORESA, 25 mai 2004 – Lille
Modélisation des connaissances
En collaboration avec les experts de la MOM
Stockage avec Protégé-2000 (frames) Utilisation d’un plug-in Jess pour les inférences
CORESA, 25 mai 2004 – Lille
Groupement perceptuel
(Niveau 1)
Image segmentéeImage originale
Exemples de résultats
Couron-nement
Geison Corps
Couron-nement
Corps
CORESA, 25 mai 2004 – Lille
Conclusions
Une architecture générique Qui s’applique à des domaines contraints géométriquement Validée dans un domaine (stèle)
Groupement perceptuel… Aboutissant à des objets intermédiaires pertinents
… Contrôlé par les connaissances Paramétrage du groupement par les connaissances Validation a posteriori & remise en cause Mécanisme encore incomplet
CORESA, 25 mai 2004 – Lille
Perspectives
Groupement perceptuel Poursuivre l’implantation gestaltiste Lois de symétrie, continuité
Contrôle par les connaissances Incorporé dans le groupement: arrêt local si une structure
est reconnue Utilisation des inférences pour filtrer les résultats
Recommended