Upload
flann
View
17
Download
1
Embed Size (px)
DESCRIPTION
Accès aux base d’images par navigation visuelle Guillaume LAVOUE LIRIS, FRE 2672 CNRS. Problématiques. Accès aux bases d’images. Recherche d’images par le contenu. Les systèmes RIPC traditionnels : Indexation. Recherche par image-clef. Inconvénients: - PowerPoint PPT Presentation
Citation preview
Accès aux base d’images par Accès aux base d’images par navigation visuelle navigation visuelle
Guillaume LAVOUE
LIRIS, FRE 2672 CNRS
Problématiques
Accès aux bases d’images. Recherche d’images par le contenu. Les systèmes RIPC traditionnels :
• Indexation.• Recherche par image-clef.
Inconvénients:• Représentation linéaire des résultats.• Pas de vue globale du contenu de la base.
Intérêt d’un système de navigation.
PLAN
Les méthodes de segmentation et d’indexation. Mise en place de la structure de navigation. Extension à l’approche locale.
La segmentation
Segmentation nécessaire:• Extractions des descripteurs.• Extractions des régions clefs.
Deux étapes:• Partitionnement de l’espace couleur (quantification).• Régularisation spatiale.
L’espace CIE Lab.• Transformation non-linéaire depuis l’espace RVB.• Perceptuellement uniforme.
Niveau 3(4 classes)
333231 CCC 33C32C31C
Histogramme Couleur (ab)
Image couleur
11C 11C
Niveau 1(2 classes)
2221 CC 22C21C
niveau 2(3 classes)
Partitionnement de l’espace couleur
Pourquoi?
• Image quantifiée = Image sur-segmentée
Réduction de cette sur-segmentation.
Principe:
• Fusion des régions
Obtention des régions significatives correspondant aux objets de la scène.
Régularisation spatiale
= 1243 régions
1. Filtrage des pixels isolés.
2. Extraction et étiquetage des régions connexes.
3. Construction du graphe d’adjacence.
4. Réduction du graphe Fusion des régions.
5. Construction de l’image finale à partir des régions restantes.
Algorithme général
Espace Lab uniforme
distance euclidienne .
Facteur de pondération• : Mesure de l’imbrication entre deux régions.
• : Filtrage des régions jugées trop petites.
Distance finale entre deux régions i et j:
ijED
ijC
ijA
ijD
ijijijij ACEDD
Mesure des différences couleur
: Prise en compte de la disposition spatiale [ Schettini ].
: Facteur de filtrage des petites régions.
ijC
ij
jiij P
PPC
4
),min(
: Périmètre de la ième région. : Longueur du périmètre entre la ième et la jème région.
iP
ijP
ijA
)( NbPixMinNouNbPixMinNsi ji 1 sinon
ijA
: Nombre de pixels de la ième région. : Nombre minimal fixé. : Réel positif .
iN
NbPixMin
1,0
Mesure des différences couleur
Image originaleImage
quantifiée 16 classes
1243 régions
Image
Segmentée5 classes6 régions
Résultats de la segmentation
Images originales Images
quantifiées 16 classes
Images Segmentées(Respectivement 2 et 6 régions)
Résultats de la segmentation
Deux approches:• Globale: Orientée Image.• Locale. Orientée Région.
Descripteurs colorimétriques:• Couleurs dominantes .• Pourcentages des classes .• Variances des classes: .
Descripteur spatio-colorimétriques• Cohérence spatiale .
iCDip
iV
SCR
Description des Images Couleur
PLAN
Les méthodes de segmentation et d’indexation. Mise en place de la structure de navigation. Extension à l’approche locale.
3 étapes de traitement hors ligne:
Quantification de l’histogramme couleurQuantification de l’histogramme couleurStructuration de la base
•Quantification par Nuées Dynamiques•Quantification floue
Élaboration d ’un mécanisme de visualisation•ACP
Les étapes de traitement
Quantification uniforme de l ’histogramme
Discrétisation des histogrammes L,a,b en k intervalles :
valeurs normalisées .
Création d ’un vecteur représentatif par image avec .
iC
13 kn
k3
k
wCD i
i
3
)1(ki 30
SCEwDi . 13 ki
10w
nDD 0
Quantification de l’histogramme Quantification de l’histogramme couleurcouleur
A
B3B1 B4B2
Niveau N-2
Niveau N-1
Niveau N
Structuration de la base
Structure d’arbre hiérarchique
Algorithme des nuées dynamiques– Données:
• N points dans l’espace de dimension n.• k groupes caractérisés par leur centre de classe .
– Initialisation:• Choix de k images qui formerons les initiaux.
– Algorithme:• On assigne à chaque classe , les points Les plus
proche de .
• Calcul, pour chaque ,des centres de gravité .
iP
kG kG 0
kG 0
kG iPkG 0
'00' kikiki GPGPkksiGP
kG kG 0
Structuration de la base
La quantification floue (Fuzzy k-mean) [ Bezdek ]:• Initialisation des .
• Algorithme- Calcul des centres de classes floues .kGF
mik
N
i
im
ik
N
ik
PGF
)(
)(
1
10
ik
Kk 1
kiik
kiik
GPsi
GPsi
0
1
Avec facteur de poids. Plus m est grand plus la quantification est floue.
1m
Structuration de la base
- Mis à jour des pourcentages d’appartenance .
- Comparaison des matrices d’appartenance avant et après l’itération.
1
2
1
)(
1
m
ij
ikK
j
ik
d
d
Ni
Kk
1
1
1pp UU
P le numéro de l’itération actuelle. le seuil d’arrêt.U telle que : .
Structuration de la base
ijjiU ]][[
Projection de l’ espace de dimension n à un
espace de dimension 2. Méthode choisie: L’Analyse en Composantes
Principales (ACP).• ACP appliquée sur les images
représentatives des sous groupes.• Quantité d’information moyenne portée
par les deux axes 80%.
Mécanisme de visualisation
Fonctionnement
A
B3B1 B4B2
Niveau N-2
Niveau N-1
Niveau N
Interface du système
a b
c fed
a : Fenêtre de navigation.
b : Résultats affichage paramétrique.
c : Images présentes dans le nœud.
d : Image sélectionnée.
e : Image requête.
f : Résultats affichage linéaire.
PLAN
Les méthodes de segmentation et d’indexation. mise en place de la structure de navigation. Extension à l’approche locale.
Principe:• Vecteurs représentatifs associés aux régions.• Base = nuage de points-régions.• Région représentée par l’image qui la contient.
Intégration de la recherche• Sur une région de la base.• Sur une région choisie d’une image de la base.
Intégration de l ’approche locale
Image
Région
Sélection zone Extraction zone
Segmentation Région finale
Intégration de l ’approche locale
Intégration Navigation / Recherche
Efficacité, flexibilité. Travail sur la couleur
Extension à la forme, la texture. Ouvertures:
– Pré-classification sémantique.– Terminal intelligent, intégration du profil utilisateur.– Généralisation à d’autre bases (ex: objets 3D).
Conclusion