1 Une ontologie géographique pour l'analyse d'images ...stella/conferences/presentation...

Une ontologie géographique pour l'analyse d'images satellites

1

Cecilia ZANNI-MERKFrançois DE BERTRAND DE BEUVRON

Stella MARC-ZWECKERIcube (équipe BFO) - Université de Strasbourg

Introduction

• L'interprétation de l'image peut être définie comme l'extraction automatique de la sémantique de l'image.

• Permet d'obtenir de l'information utile sur les relations spatiales entre les objets ainsi que des informations thématiques basées sur la connaissance des experts.

• La sémantique de l'image n'est pas explicite. Elle dépend du domaine étudié et du contexte.

2

Le fossé sémantique

• Il existe un fossé sémantique entre l'information de « bas niveau » (automatiquement extraite de l'image) et l'information de « haut niveau » (description des concepts du domaine).

• Pour réduire ce fossé, on utilise des méthodes d'analyse de l'image, basées sur des approches orientées objets, qui modélisent les connaissances du domaine.

3

4

Formalisation des connaissances du domaine

• Notre travail consiste à formaliser et à exploiter les connaissances du domaine, au moyen d'ontologies.

⇒ définition « en intension »• L'objectif final est d'associer des régions issues de

la segmentation de l'image à des objets thématiques correspondant à des concepts de ontologie

⇒ visée « applicative » de l'ontologie

5

Schéma de correspondance entre objets concrets (issus de l'image) et objets abstraits (concepts)

6

Principaux objectifs

• Contribuer à la réduction du fossé sémantique :➔ Problème d'ancrage des symboles : établir la

correspondance entre les valeurs quantitatives et les valeurs qualitatives

• Montrer l'intérêt de l'utilisation des ontologies pour l'étiquetage automatique des régions extraites de l'image dans le contexte des objets urbains.

Les connaissances des experts géographes

7

• Les experts ont développé un dictionnaire d'objets urbains.

• Ce document définit chaque objet géographique au moyen de : ● descriptions textuelles● d'informations graphiques● valeurs des données ● relations avec les autres

objets.

Principes de l'ontologie

• Les objets géographiques comprennent des régions, des parcelles de terrain, des étendues d'eau, des routes, des bâtiments, etc.

• Il s'agit donc d'objets spatiaux situés sur ou près de la surface de la terre.

• Ces objets sont définis à une certaine échelle, sont typiquement complexes, et se décomposent en parties.

8

Principes de l'ontologie

• On distingue deux grandes catégories d'objets – Les objets agrégés : résultent de l'organisation ou

de la structuration spatiale d'objets élémentaires ou agrégés (ex : parcs ou zones industrielles).

– Les objets élémentaires : ne peuvent pas être décomposés (ex : canaux ou routes).

9

Vue d'ensemble de l'ontologie

10

OWL 2.0 (Protégé)

Caractérisation des relations spatiales

• Le dictionnaire définit aussi des attributs correspondant aux relations spatiales entre les objets.

• Une relation spatiale entre objets spécifie la façon dont les objets sont disposés dans l'espace les uns par rapport aux autres.

11

Caractérisation des relations spatiales

• Adjacence • Inclusion• Composition• Alignement

– Relative à l'organisation interne des objets à l'intérieur d'un ensemble (ex : allée d'arbres)

• Distance– Entre deux objets

12

Caractérisation des relations spatiales • Les attributs correspondant aux relations spatiales

ont été modélisés par des « object properties » de OWL.

• Les valeurs numériques du dictionnaire ont été remplacées par des valeurs qualitatives, qui sont représentées par des classes.– Les experts géographes raisonnent avec des valeurs

qualitatives• L'attribut Alignement n'est utilisé que pour les

Objets agrégés.13

Caractérisation des relations spatiales • La relation Composition n'a de sens que pour les

Objets Agrégés.• Les relations Composition et Inclusion sont

définies comme mutuellement inverses.• La valeur de la Distance entre un objet A et un

objet B est un attribut de la relation elle-même➔ Requiert de réifier la relation de distance, car les

« propriétés » dans OWL sont des relations binaires.

14

La relation Distance

15

La réification d'une relation n-aire entraîne la création d'une nouvelle classe d'objet (classe des Valeurs Qualitatives dans ce cas) et de n nouvelles « propriétés » qui représentent la relation n-aire, ⇒ une instance de la relation réifiée (ex : Distance) relie les n individus concernés (ex : 2 objets géographiques avec la valeur de la distance entre eux).

La relation Distance• Exemple: tous les objets qui sont à une petite

distance d'un champ (Field).Class: <Close_to_Field> EquivalentTo: <related> some (

<Distance> and( <related_inv> some <Field> ) and ( <value> some <Small> )

)

16

Simulation du raisonnement dans un « monde clos» grâce aux contraintes de cardinalité

• Supposons qu'une zone agricole (Farming Area) est définie comme une zone ne contenant que des parcelles agricoles (Agricultural Parcels).

ObjectProperty: <contains>Class: <AgriculturalParcel>Class: <FarmingArea>EquivalentTo: <contains> only

<AgriculturalParcel>

17

Simulation du raisonnement dans un « monde clos» grâce aux contraintes de cardinalité OWL

18

Zone de Strasbourg Est, image THR avec quatre bandes spectrales (QuickBird, copyright DigitalGlobe). Cette image est la propriété du LIVE (Laboratoire Image, Villen Environnement) de l'Université de Strasbourg, ERL 7230.

F1, F2, F3 : Agricultural ParcelsR1 : Aggregate Object

R1 est-elle reconnue comme Farming Area?

NON!

Simulation du raisonnement dans un « monde clos» grâce aux contraintes de cardinalité OWL

• L'implémentation des restrictions universelles sur les propriétés multi-valuées par l'ontologie ne semble pas permettre la reconnaissance d'instances.

• La restriction de cardinalité OWL-DL, appliquée à la définition des instances, permet de restreindre la création d'instances implicites, et donc de simuler l'hypothèse du monde clos.

19

Simulation du raisonnement dans un « monde clos» grâce aux contraintes de cardinalité OWL

• Dans notre exemple, le calcul de la zone R1 de l'image doit permettre d'établir que tous les objets inclus dans R1 sont de type Agricultural Parcels.

• Pour cela, la description de l'instance R1 doit être étendue par la contrainte de cardinalité suivante :

Individual: <R1>Types: owl:Thing , <contains> max 3

owl:Thing• Après cette modification, R1 sera reconnue comme

Farming Area.20

Exemple• Supposons qu'après avoir analysé les données concernant

un objet géographique inconnu appelé 1_TEST, les informations suivantes sont extraites de l'image :– Il est adjacent à une « autre route » (Road_other).– Il a une texture homogène (Homogeneous).– Il est inclus dans un parc urbain (Urban_park).– L'objet a été analysé à une résolution (THR1).– On observe un alignement entre les objets qui le

composent.

21

Exemple

22

L'instance d'origine

Après la classification

• Protege 4.2 beta avec le raisonneur intégré Hermit 1.3.6

Exemple

23

Trees comprend les caractéristiques communes des deux sous-classes

L'instance vérifie ces caractéristiques communesSi la super-classe

n'avait pas été créée, l'instance aurait été classifiée à un niveau plus élevé de la hiérarchie

La création de super-classes pour les classes ayant des caractéristiques communes, permet de discriminer des sous-classes similaires pendant la classification.

Exemple• Supposons que l'on établit que l'instance a une forme

circulaire.• Le raisonneur peut maintenant distinguer entre les sous-

classes de Trees et inférer que l'instance est membre de la classe Copse_of_Trees.

24

Ajout d'information sur la forme

Après inférence 

Travaux en cours

25

• Un « Plug-In » est en cours de développement sous Protégé pour créer les instances de l'ontologie à partir des fichiers .arff fournis par le logiciel MUSTIC (équipe BFO ICube).

• Il a pour objectif d'établir la correspondance entre les valeurs numériques fournies dans le fichier .arff et les valeurs qualitatives présentes dans l'ontologie.

26

« Plug-in » de création des instances

Travaux en cours• Utilisation de techniques de fouille de données

textuelles pour l'extraction automatique d'informations à partir du dictionnaire géographique ⇒ génération automatique et validation de l'ontologie.

• Développement d'une méthode d'extraction des relations spatiales à partir de la structure et des informations linguïstiques du dictionnaire (listes de termes et de relations)

⇒ collaboration avec équipe TAL (Traitement Automatique du Langage)

27

28

Génération automatique de l'ontologie

Travaux en perspectiveRaisonnement spatial qualitatif⇒ relations spatiales RCC8 (Region Connection Calculus), utilisées par les géographes pour l'analyse d'images.

⇒ implémentation de primitives de calcul sur l'image permettant d'extraire les relations RCC8 entre les objets.

⇒ intégration des relations RCC8 dans l'ontologie par un procédé de réification

⇒ définition de règles SWRL permettant de calculer la table de composition des relations RCC8

⇒ application à l'analyse multi-résolution

29

Raisonnement spatial qualitatif

Relations RCC8 (Region Connection Calculus) [Randell 92]

30

Raisonnement spatial qualitatif Les relations RCC8 s'expriment en fonction de primitives de calcul sur l'image [Le Ber] (x° : intérieur ; δx : contour de la région x)

x,y x° - y° y° - x°  x°∩ y° δx ∩ δy• EQ ∅ ∅ ≠ ∅ ≠ ∅

• TPP ∅ ≠ ∅ ≠ ∅ ≠ ∅

• NTPP ∅ ≠ ∅ ≠ ∅ ∅

• TPP-1 ≠ ∅ ∅ ≠ ∅ ≠ ∅

• NTPP-1 ≠ ∅ ∅ ≠ ∅ ∅

• PO ≠ ∅ ≠ ∅ ≠ ∅ ≠ ∅

• EC ≠ ∅ ≠ ∅ ∅ ≠ ∅

• DC ≠ ∅ ≠ ∅ ∅ ∅

31

Raisonnement spatial qualitatif

Réification des relations RCC8 : implémentation en OWL + SWRL

⇒ calcul de la table de composition

32

Raisonnement spatial qualitatif

Application à l'analyse multi-résolution • Problème de la segmentation des images à très haute résolution

⇒ sur-segmentation (exemple : « morceaux » de toiture, à l'ombre et au soleil)

• ⇒ détecter une sur-segmentation lorsque l'on a une inclusion de segments non identifiés dans un objet identifié à une résolution inférieure (exemple : une maison a été détectée à une résolution inférieure)

• Analyse « ascendante » (de haute vers faible résolution) ou « descendante » (de faible vers haute résolution) ?

33

Travaux en perspectiveRaisonnement temporel qualitatif :

⇒ analyse de l'évolution des objets dans des séquences d'images non triviales (algèbre d'Allen ?) :

- par exemple, éliminer des images avec des nuages,

- ou suivre une l'évolution d'un objet (ou ensemble

d'objets) dans le temps avec relation de causalité

Raisonnement probabiliste ou flou intégré à l'ontologie :

⇒ par exemple, dans le cas où un objet peut être membre de plusieurs classes simultanément.

34

Conclusion• La formalisation des connaissances du domaine de

l'analyse d'images urbaines au moyen d'une ontologie basée sur une logique de description (OWL-DL) permet de tester la consistance du modèle.

• Les résultats préliminaires ont montré la pertinence de ce modèle pour identifier des objets, à partir de leurs attributs (couleur, forme, texture, etc.) et de leurs relations spatiales (adjacence, inclusion, distance, etc.), même lorsque les valeurs utilisées sont qualitatives.

35