Hervé Goëau

Hervé Goëau

25 mai 2009

Structuration de collection d’images par apprentissage actif crédibiliste

1

2

MotivationsValoriser des fonds de collections d’images• Contexte INA : Photothèque• Contexte « grand public » : collections personnelles de photographies

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion Bateaux

Plage

Montagnes

Famille

3

Systèmes existants1. Manuel

+expressivité, ergonomie

- fastidieux

2. Automatique

+ productivité

- satisfaction

3. Semi-automatique

+ expressivité, contrôle utilisateur

- peut être fastidieux

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

4

Objectifs et contraintes

• Semi-automatique

• Collections vierges

• Satisfaction totale de l’utilisateur- Capturer ses intentions- Diminuer sa charge de travail

• Une ou plusieurs catégories par image


5

Proposition

Choix d’une stratégie de sélection

Sélection active

d’images

Utilisateur

Modélisation et synthèse de

la connaissance

Nouvel état des étiquettes

Images étiquetées

Images non

étiquetées

Interface homme machine

Liste(s) d’images

Etats de connaissance

Interactions

Etiquetages


6

Modélisation et synthèse de la connaissance


7

Problématique

« plages »« monuments »

« éléphants »

? ?

?


? Ø

8

Contenus visuels

Croyance que u appartient à la même classe de lq ?

Fossé sémantique? Appartenances multiples?Combinaisons ?

Non étiquetée u Étiquetée lq

Descriptions couleurs, orientations


9

Fonction de croyances (1/3)

Cadre de discernement :

Espace puissance :

conflit doute


Modèle des Croyances Transférables [Smets94]

Distribution de masses (KnnEv [Denoeux95]) :

10



Knn « négatifs »

Adaptation locale des fonctions de croyances

Paramètre f : croyance aux frontières des classes

11



Paramètre f : gestion des croyances aux frontières des classes

u

12

Combinaison de témoignages

• Problème : masse sur la proposition ?

• Règle de combinaison conjonctivePlan

IntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

13

Transfert de masses


Multi-classe

• produit des cadres de discernement « locaux »

Exemple pour 2 classes : 4 hypothèses

Combinaison des distributions de masses l’opérateur « d’extension vide » [Smets93]

14


15

Multi-descripteur


16

Modélisation de la connaissance : bilan


Extension du KnnEv

connaissance détaillée : • Appartenance une ou plusieurs classes• Non appartenances• Doutes et conflit• Adaptation locale

17

Sélection active d’imagesPlan


18

Apprentissage actif

• Classer les échantillons les plus « informatifs »


« Vérité terrain »Modèle idéalt0

19

Apprentissage actif

• Classer les échantillons les plus « informatifs »

Adéquation ?


t0

Stratégie 1 Stratégie 2

t1t2t3t4

• Pour l’apprentissage • Pour l’utilisateur

Stratégies de sélections

- rejet en distance

- positives

localesglobale

- ambigües

Transformation pignistique [Smets05] PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

20

Hypothèses :

21

Stratégie du plus positif


Recherche des étiquettes les plus

probables

Premiers sélectionnés

Derniers sélectionnés

22

Stratégie du plus rejeté en distance


Exploration de nouveaux

contenus visuels



23

Stratégie du plus localement ambigu

Désambigüisation des classes 2 à 2




24

Sélection active d’images : bilan


Expression des stratégies usuelles avec le MCT

Stratégies complémentaires pour identifier et cerner les classes

25

Interface homme-machinePlan


26

Proposition automatique d’étiquette(s)

Exemple à 3 classes

Etiquetage sans rejetsEtiquetage avec rejet en distanceEtiquetage avec rejet en ambigüitéou étiquetage multiple sans rejetsEtiquetage avec rejetsou étiquetage multiple avec rejet en distance


27

Interface et démonstration


28

EvaluationsPlan


29

Classification automatique et multi-étiquetage

scene-classification [Boutell04]6 classes Corel1,08 étiquettes/image1211 apprentissage / 1196 test


30

Caractérisation des stratégies (1/3)

5x100 images CorelClasses visuellement homogènesPlan


Evolution

Nombre final de mauvaises propositions

Effort de l’utilisateur

31



f = 0,4

32



f = 0,7

33

Combinaison avec des métadonnées

Combinaison avec des informations imprécises et partiellesEx : date de prise de cliché

1820 photographies, 24 appareils, 6 événements temporels

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion Préparatifs Séance photos Mairie Cérémonie Soirée Lendemain

34

Combinaison avec des métadonnées


35

Evaluation avec utilisateur

Documentaliste responsable de la Photothèque InaMéthodologie « penser à haute voix » [Nielson92]Téléfilm Borgia

↗ Une même classe avec contenus visuels différents ↗ Réorganisation à volonté des classes ↗ Prise en main de l’interface ↗ Adéquation avec usage

↘ Prise en main des stratégies non immédiate

Suggestions :- Vue d’ensemble pour initialisation des classes- Hiérarchie


36

Conclusion

Verrous levés : • Satisfaction totale• Peu d’échantillons• Multi-étiquetage• Tout type de collections d’images

Cadre de formalisation : • Classification, stratégies, décisions• Modélisation du doute et du conflit• Echelle

Souplesse :• Gestion des classes : modification/création/suppression à la volé• Ajout de nouveaux descripteurs de contenus et métadonnées

Prototype : tests opérationnels


37

Perspectives (1/3)

• Optimisations et autres tests :

- Adaptation automatique des fonctions de croyances

- Descripteurs (locaux) et métriques

- Classifieurs de base

• Semi-supervisé :

- Structuration partielle de très grandes bases d’images

- Structuration de vidéos


38

Perspectives (2/3)

• Combinaison/alternance de stratégies

plus de propositions correctes

améliorer le confort de l’utilisateur


1 MR, X MP

39

Perspectives (3/3)

• Organisations hiérarchiques

Formalisation de « sur-classes » et « sous-classes »

Multi-étiquetage sur différents niveaux hiérarchiques


40

Merci pour votre attention


41

Compléments

42

DESCRIPTEURS MPEG7 (1/2)

Descripteur Nombre de corrections finalHrgb 33Hhsv 33Cced 35Scd 35Cfct 37Hlab 39Hluv 46Horient 54MPEG7cld 58MPEG7ehd 68MPEG7scd 399

5x100 images CorelDescripteurs standards (Rummager )Stratégie du plus rejeté en distance MRk=5,f=0.7,distance de Bhattacharya

43

DESCRIPTEURS MPEG7 (2/2)

5x100 images CorelDescripteurs standards (Rummager )Stratégie du plus rejeté en distance MRk=5,f=0.7,distance de Bhattacharya

44

Fusion précoce et tardive

Réglage automatique du paramètre f

Influence du paramètre f

47

Transformation d’étiquettes

PT3

PT4

PT6

48

Structuration de vidéos (1/4)




52

Stratégie orientée classe Vue locale

53

Stratégie orientée classe Vue globale

Documents

Hervé Goëau