Hervé Goëau

Hervé Goëau

25 mai 2009

Structuration de collection d’images par apprentissage actif crédibiliste

1

2

MotivationsValoriser des fonds de collections d’images• Contexte INA : Photothèque• Contexte « grand public » : collections personnelles de photographies

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion Bateaux

Plage

Montagnes

Famille

3

Systèmes existants1. Manuel

+expressivité, ergonomie

- fastidieux

2. Automatique

+ productivité

- satisfaction

3. Semi-automatique

+ expressivité, contrôle utilisateur

- peut être fastidieux

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

4

Objectifs et contraintes

• Semi-automatique

• Collections vierges

• Satisfaction totale de l’utilisateur- Capturer ses intentions- Diminuer sa charge de travail

• Une ou plusieurs catégories par image

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

5

Proposition

Choix d’une stratégie de sélection

Sélection active

d’images

Utilisateur

Modélisation et synthèse de

la connaissance

Nouvel état des étiquettes

Images étiquetées

Images non

étiquetées

Interface homme machine

Liste(s) d’images

Etats de connaissance

Interactions

Etiquetages

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

6

Modélisation et synthèse de la connaissance

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

7

Problématique

« plages »« monuments »

« éléphants »

? ?

?

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

? Ø

8

Contenus visuels

Croyance que u appartient à la même classe de lq ?

Fossé sémantique? Appartenances multiples?Combinaisons ? 

Non étiquetée u Étiquetée lq

Descriptions couleurs, orientations

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

9

Fonction de croyances (1/3)

Cadre de discernement :

Espace puissance :

conflit doute

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

Modèle des Croyances Transférables [Smets94]

Distribution de masses (KnnEv [Denoeux95]) :

10

Fonction de croyances (2/3)

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

Knn « négatifs »

Adaptation locale des fonctions de croyances

Paramètre f : croyance aux frontières des classes

11

Fonction de croyances (3/3)

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

Paramètre f : gestion des croyances aux frontières des classes

u

12

Combinaison de témoignages

• Problème : masse sur la proposition ?

• Règle de combinaison conjonctivePlan

IntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

13

Transfert de masses

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

Multi-classe

• produit des cadres de discernement « locaux »

Exemple pour 2 classes : 4 hypothèses

Combinaison des distributions de masses l’opérateur « d’extension vide » [Smets93]

14

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

15

Multi-descripteur

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

16

Modélisation de la connaissance : bilan

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

Extension du KnnEv

connaissance détaillée : • Appartenance une ou plusieurs classes• Non appartenances• Doutes et conflit• Adaptation locale

17

Sélection active d’imagesPlan

IntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

18

Apprentissage actif

• Classer les échantillons les plus « informatifs »

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

« Vérité terrain »Modèle idéalt0

19

Apprentissage actif

• Classer les échantillons les plus « informatifs »

Adéquation ?

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

t0

Stratégie 1 Stratégie 2

t1t2t3t4

• Pour l’apprentissage • Pour l’utilisateur

Stratégies de sélections

- rejet en distance

- positives

localesglobale

- ambigües

Transformation pignistique [Smets05] PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

20

Hypothèses :

21

Stratégie du plus positif

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

Recherche des étiquettes les plus

probables

Premiers sélectionnés

Derniers sélectionnés

22

Stratégie du plus rejeté en distance

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

Exploration de nouveaux

contenus visuels

Premiers sélectionnés

Derniers sélectionnés

23

Stratégie du plus localement ambigu

Désambigüisation des classes 2 à 2

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

Premiers sélectionnés

Derniers sélectionnés

24

Sélection active d’images : bilan

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

Expression des stratégies usuelles avec le MCT

Stratégies complémentaires pour identifier et cerner les classes

25

Interface homme-machinePlan

IntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

26

Proposition automatique d’étiquette(s)

Exemple à 3 classes

Etiquetage sans rejetsEtiquetage avec rejet en distanceEtiquetage avec rejet en ambigüitéou étiquetage multiple sans rejetsEtiquetage avec rejetsou étiquetage multiple avec rejet en distance

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

27

Interface et démonstration

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

28

EvaluationsPlan

IntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

29

Classification automatique et multi-étiquetage

scene-classification [Boutell04]6 classes Corel1,08 étiquettes/image1211 apprentissage / 1196 test

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

30

Caractérisation des stratégies (1/3)

5x100 images CorelClasses visuellement homogènesPlan

IntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

Evolution

Nombre final de mauvaises propositions

Effort de l’utilisateur

31

Caractérisation des stratégies (2/3)

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

f = 0,4

32

Caractérisation des stratégies (3/3)

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

f = 0,7

33

Combinaison avec des métadonnées

Combinaison avec des informations imprécises et partiellesEx : date de prise de cliché

1820 photographies, 24 appareils, 6 événements temporels

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion Préparatifs Séance photos Mairie Cérémonie Soirée Lendemain

34

Combinaison avec des métadonnées

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

35

Evaluation avec utilisateur

Documentaliste responsable de la Photothèque InaMéthodologie « penser à haute voix » [Nielson92]Téléfilm Borgia

↗ Une même classe avec contenus visuels différents ↗ Réorganisation à volonté des classes ↗ Prise en main de l’interface ↗ Adéquation avec usage

↘ Prise en main des stratégies non immédiate

Suggestions :- Vue d’ensemble pour initialisation des classes- Hiérarchie

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

36

Conclusion

Verrous levés : • Satisfaction totale• Peu d’échantillons• Multi-étiquetage• Tout type de collections d’images

Cadre de formalisation : • Classification, stratégies, décisions• Modélisation du doute et du conflit• Echelle

Souplesse :• Gestion des classes : modification/création/suppression à la volé• Ajout de nouveaux descripteurs de contenus et métadonnées

Prototype : tests opérationnels

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

37

Perspectives (1/3)

• Optimisations et autres tests :

- Adaptation automatique des fonctions de croyances

- Descripteurs (locaux) et métriques

- Classifieurs de base

• Semi-supervisé :

- Structuration partielle de très grandes bases d’images

- Structuration de vidéos

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

38

Perspectives (2/3)

• Combinaison/alternance de stratégies

plus de propositions correctes

améliorer le confort de l’utilisateur

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

1 MR, X MP

39

Perspectives (3/3)

• Organisations hiérarchiques

Formalisation de « sur-classes » et « sous-classes »

Multi-étiquetage sur différents niveaux hiérarchiques

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

40

Merci pour votre attention

PlanIntroductionModélisation de la connaissanceSélection active d’imagesInterface et démonstrationEvaluationsConclusion

41

Compléments

42

DESCRIPTEURS MPEG7 (1/2)

Descripteur Nombre de corrections finalHrgb 33Hhsv 33Cced 35Scd 35Cfct 37Hlab 39Hluv 46Horient 54MPEG7cld 58MPEG7ehd 68MPEG7scd 399

5x100 images CorelDescripteurs standards (Rummager )Stratégie du plus rejeté en distance MRk=5,f=0.7,distance de Bhattacharya

43

DESCRIPTEURS MPEG7 (2/2)

5x100 images CorelDescripteurs standards (Rummager )Stratégie du plus rejeté en distance MRk=5,f=0.7,distance de Bhattacharya

44

Fusion précoce et tardive

Réglage automatique du paramètre f

Influence du paramètre f

47

Transformation d’étiquettes

PT3

PT4

PT6

48

Structuration de vidéos (1/4)

Structuration de vidéos (2/4)

Structuration de vidéos (3/4)

Structuration de vidéos (4/4)

52

Stratégie orientée classe Vue locale

53

Stratégie orientée classe Vue globale