Sélection et classification : avancement

Marine Campedel

www.tsi.enst.fr/~campedel

22 mars 2005

Présentation

Résumé du travail précédent et correction de la

méthode ;

Résultats obtenus avec les GMRF ;

Stabilité des méthodes non supervisées ;

Travaux en cours et à venir.

Description de la plate-forme

Modèles étiquetésCaract.+ étiquettes

Images

Extraction de caractéristiques

Caractéristiques

Requêtesutilisateur

ApprentissageNon supervisé

Apprentissagesupervisé

Modèles

Sélection de caractéristiques

Algorithmes de sélectionType Description

ReliefF Filter Score d’autant plus élevé que la

caractéristique permet de discriminer les

données de classes différentes.

Fisher Wrapper Analyse discriminante de Fisher.

RFE Wrapper Élimination récursive des caractéristiques de

poids faible, à l’aide d’une SVM.

AROM Wrapper Approximation de la norme l0 des poids

associés à chaque caractéristique, par une

procédure récursive faisant intervenir une

L2-SVM ou une L1-SVM.

MIC Filter Utilisation d’une clusterisation K-PPV des

caractéristiques + choix d’un représentant

par cluster.

kMeans-FS Filter Utilisation d’une clusterisation K-Moyennes.

Initialisation par points extrêmes

SVC-FS Filter Utilisation des vecteurs de support issus

d’une classification 1-classe.

Évaluation des sélections

Attributs (+étiquettes de classe)

Sélection de caractéristiques

Apprentissage d’unclassificateur

Calcul d’heuristiques

Apprentissage/Test

Classification

Boucle de validation croisée

Mesure de redondance Moyenne et écart-type du taux d’erreurs de classification

Sélection de caractéristiques

Sélection de caractéristiques

Base de travail

Base de donnéesNombre de

classes

Nombre de

donnéesOrigine des images

« Satellite » 6 600SPOT 5m/pixel

Imagettes 64x64

Base d’apprentissage similaire à l’étiquetage manuel produit par un

utilisateur

Résultats passés

Classificateur SVM (linéaire) plus performant que KPPV

ou Fisher sur la base étudiée ;

Sélection effectuée sur des caractéristiques de textures :

Réduction de 78+24+18 à 20 (voire 10) coefficients

sans perte de performance de classification ;

Algorithmes non supervisés aussi puissants que les

algorithmes supervisés.

GMRF (classification)

satellite Nb kppv fisher svm Svm -gauss

Hara+Gabor+

qmf+GMRF124 15.3±1.9 24.2±5.5 8.3±3.0 28.5±4.2

Haralick 78 13.8±2.2 30.8±4.3 7.7±2.0 12.7±1.8

Gabor 24 22.2±2.5 40.7±3.8 16.2±5.3 20.5±2.6

Qmf 18 24.8±1.9 38.5±4.0 21.2 ±5.4 19.3±2.2

GMRF w=64 4 9.7±4.5 16.8±3.3 - 8.8±2.4

GMRF w=34 4 13.3±2.1 18.2±2.7 - 12.8±1.4

GMRF (sélection) 1/2

satellite Nb kppv fisher svm

Hara+Gabor+Qmf+

Geo+GMRF139 12.7±1.5 18.5±4.9 7.8±2.3

Fisher 10 6.5±2.2 16.0±3.0 5.3±3.2

L2-AROM 10 10.2±2.3 19.7±4.2 8.2±2.2

kMeans-FS 10 21.8±4.1 34.3±5.4 12.2±2.3

SVC-FS 10 21.2±5.0 29.8±5.2 14.7±6.6

Fisher 20 8.7±1.8 18.3±3.7 5.3±2.6

L2-AROM 20 11.2±2.3 16.7±4.5 6.5±3.1

kMeans-FS 20 19.3±3.5 26.0±4.8 8.5±2.3

SVC-FS 20 15.5±3.4 23.5±3.8 9.3±1.7

GMRF (sélection) 2/2

Sélection Fisher Nb kppv fisher svm

Hara+Gabor+

Qmf+Geo+GMRF

GMRF4 Hara6 Gabor6 Geo1 Geo5 GMRF3 Hara19(ou

Hara58) Hara71(ou Hara74) Geo13 QMF5 (ou QMF1)

Fisher 10 6.5±2.2 16.0±3.0 5.3±3.2

Fisher 6 6.3±2.4 17.5±2.8 5.3±1.5

6 attributs sélectionnés à chaque boucle de

validation croisée ;

GMRF et attributs géométriques présents.

Stabilité (non supervisé) 1/2

Comparaison de deux expériences :

Sélection et classification sur la même base ;

Sélection et classification sur des bases

différentes (base aléatoire pour la sélection,

2000 vignettes 64x64, pas d’étiquette de classe).

Si les sélections sont stables, les performances

de reconnaissance doivent être similaires.

Stabilité (non supervisé) 2/2

Même base Bases différentes

Satellite

(Haralick)Nb kppv fisher svm kppv fisher svm

kMeans-FS 10 12.8±2.3 28.7±5.8 9.8±2.5 13.2±2.2 29.7±4.3 9.0±2.2

SVC-FS 10 14.7±2.3 31.0±3.4 11.7±1.3 14.7±2.7 32.0±2.7 10.8±1.7

kMeans-FS 20 13.5±2.8 30.3±5.2 6.7±1.0 13.8±2.9 31.3±3.6 8.3±1.0

SVC-FS 20 14.8±2.6 31.7±4.2 11.0±2.3 15.2±3.6 30.8±5.0 10.0±2.1

kMeans-FS 39 13.5±2.2 31.0±3.7 8.5±1.6 14.2±2.8 31.2±4.6 8.0±0.7

SVC-FS 39 13.7±2.7 29.2±4.9 8.5±1.5 13.8±2.9 29.8±5.3 8.7±1.7

Travaux en attente

Estimation du nombre minimal d’attributs

Chaîne entièrement non supervisée

Kernel kMeans + indexes simples de la littérature

Étude de méthodes hiérarchiques (Ivan)

Stagiaire de mastère (M. Ould : avril-septembre)

Base de données

Constitution d’une base étiquetée manuellement

Système de gestion de BD : stagiaire de fin d’études

(J. Siyar : février – juillet)

Suite à la prochaine réunion …

satellite Nb kppv fisher svm Svm - gauss

Hara+Gabor+

qmf+GMRF124 15.3±1.9 24.2±5.5 8.3±3.0 28.5±4.2

Haralick 78 13.8±2.2 30.8±4.3 7.7±2.0 12.7±1.8

Sélection 6 6.3±2.4 17.5±2.8 5.3±1.5 -

GMRF w=64 4 9.7±4.5 16.8±3.3 - 8.8±2.4

Gemma 128 5.3±1.8 9.2±2.6 - 4.0±0.9