20
21-02-01 1 Interrogation de bases de données multimédias Département de génie logiciel et des TI Exemples de système CBIR • http://en.wikipedia.org/wiki/ List_of_CBIR_engines 6 GTI660: Introduction aux DBMM Hiver 2010

Interrogation de bases de données multimédias

  • Upload
    others

  • View
    3

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Interrogation de bases de données multimédias

21-02-01

1

Interrogation de bases de données multimédias

Département de génie logiciel et des TI

Exemples de système CBIR

•  http://en.wikipedia.org/wiki/List_of_CBIR_engines

6 GTI660: Introduction aux DBMM Hiver 2010

Page 2: Interrogation de bases de données multimédias

21-02-01

2

Département de génie logiciel et des TI

Single media Multi media

Single user

Multi user

Composition utilisant différent médias : besoin synchronisation e.g intervention chirurgicale à distance

Requête simple utilisant les attributs et méta données

Utilisateurs peuvent modifier des objets partagés simultanément e.g. CSCW

Utilisation concurrente des données – en temps réel: e.g. broadcasting, vidéo sur demande Fig. 5.1

Concurrence et synchronisation

Département de génie logiciel et des TI

Présentation du multimédia (5.2.1)

•  On connais moins bien les GUIs du multimédia

•  RÉSULTATS DE REQUÊTES IMPRÉCIS §  L’organisation des équipes de développement §  Le résultat d’une recherche ne donne pas un

résultat précis mais plutôt général §  On doit indiquer à quel % de précision l’objet

trouvé tente de répondre à la requête

Page 3: Interrogation de bases de données multimédias

21-02-01

3

Département de génie logiciel et des TI

Présentation des Résultats

•  Il est plus difficile de concevoir des GUI pour le multimédia entraînant des durées donc coûts plus élevés

•  Les équipes de développement sont typiquement organisées en équipes fonctionnelles et sont responsables des conceptions de leurs écrans, des dialogues, et des applications d’une manière séparée

Département de génie logiciel et des TI

Conception de la présentation des applications multimédia

SEMANTIC LEVEL

Task Model Application Model

SYNTACTIC LEVEL

Dialog Model

LEXICAL LEVEL

Presentational Model

Interaction Model

Application Wrappers

Fig 5.2

Page 4: Interrogation de bases de données multimédias

21-02-01

4

Département de génie logiciel et des TI

Approche de base

Département de génie logiciel et des TI

Relation des données Multimédia

•  Les relations entre les données multimédia peuvent être spatiales et/ou temporelles

•  Une relation temporelle décrit §  quand un objet devrait être présenté §  La durée de présentation §  de quelle manière la relation doit fonctionner (audio

avec vidéo) •  Une relation spatiale décrit

§  La localisation d’un objet par rapport à d’autres objets §  Présente tout l’objet ?

Page 5: Interrogation de bases de données multimédias

21-02-01

5

Département de génie logiciel et des TI

Exigences de l’interface pour interroger BD multimédia

•  L’interface de requêtes a besoin d’un support à la présentation du multimédia et des interactions spécifiques au multimédia, par exemple §  Requête du contenu d’un objet multimédia §  La notion de requête par l’exemple (QBE)

(trouve moi le vidéo de cette chanson) §  Requête temporelle

(donne moi les 30 minutes après le début du film) §  Requêtes spatiales

(trouve moi le vidéo de Paul debout derrière Jean)

Département de génie logiciel et des TI

Présentation d’audio •  C’est toujours une bonne idée d’inclure la

transcription d’une bande audio afin que les utilisateurs puissent lire le contenu si requis

•  Pour maintenir l’attention du lecteur garder les sons courts et faibles

Page 6: Interrogation de bases de données multimédias

21-02-01

6

Département de génie logiciel et des TI

Présentation d’images •  Plus mature que la gestion du son et du vidéo

•  Utilisez le ‘thumbnail’ et des formats légers (.jpg et .gif)

•  Utilisez des images basées sur des vecteurs (vector-based) plutôt que Bitmap (pixel-based)

•  Requête classique SQL ou d’image similaire avec un petit sous-ensemble comme résultat

http://graphicssoft.about.com/od/webgraphics/

http://graphicssoft.about.com/od/graphicformats/f/summary.htm

Département de génie logiciel et des TI

Présentation de vidéo •  Le traitement de la vidéo peut causer des

problèmes; certains concepteurs préfèrent ne pas l’utiliser

•  Demande + d’espace et de bande passante

•  Une alternative courante est de présenter une image statique de la personne et de traiter seulement la parole (ex: cours de formation Oracle sur webcast)

Page 7: Interrogation de bases de données multimédias

21-02-01

7

Département de génie logiciel et des TI

Présentation de vidéo •  Coupez les vidéos en segments. Pour chaque

segment montrer une image fixe, la durée et la taille du vidéo ainsi qu’un sommaire du contenu

•  Les vidéos avec des arrières plans qui changent seront encore très gros après compression (par rapport à ceux de la présentation des nouvelles)

•  Utilisez une couleur solide pour les arrière-plans et les habits des personnes afin de réduire la taille et la bande passante. (même principe en vidéo-conférence)

Département de génie logiciel et des TI

Présentation d’animation •  L’animation est une création artificielle du

mouvement créé par une suite d’images superposées

•  Beaucoup plus léger qu’un vidéo •  Utilité de l’animation

§  Attirer l’attention §  Démontrer un concept §  Imager une transition ou l’attente §  Expliquer le flot d’un système §  Interagir avec l’utilisateur

Page 8: Interrogation de bases de données multimédias

21-02-01

8

Département de génie logiciel et des TI

Conception d’animations •  Les animations sont efficaces i.e.

dynamiques •  La répétition de la même animation

sans interaction est ennuyant •  Élimine la nécessité de logiciels locaux •  Minimise les ‘downloads’

Département de génie logiciel et des TI

Animations en 2 et 3 dimensions

•  HTML •  VRML – Virtual Reality markup

Language §  Permet de créer un monde virtuel

•  Les utilisateurs ont besoin d’un ‘VRML viewer’

•  Applications – décorateurs, agents d’immeubles,…

Page 9: Interrogation de bases de données multimédias

21-02-01

9

Département de génie logiciel et des TI

•  X3D §  http://www.web3d.org/x3d/content/

examples/X3dResources.html#Examples §  http://www.x3dom.org/

•  Collada §  https://collada.org/

21 GTI660: Introduction aux DBMM

Hiver 2010

Animations en 3 dimensions

Département de génie logiciel et des TI

•  WebGL??? http://www.chromeexperiments.com/webgl/ http://www.khronos.org/webgl/wiki/Main_Page

22 GTI660: Introduction aux DBMM Hiver 2010

Animations en 3 dimensions

Page 10: Interrogation de bases de données multimédias

21-02-01

10

Département de génie logiciel et des TI

Interroger le Multimédia (5.2.2)

•  Il y a des problèmes associés à la manipulation des objets multimédia surtout en ce qui a trait à: §  requêtes, index et sommaires;

•  Il est difficile de savoir ce qui est théorique et possible ou non

•  L’importance des méta données et des ontologies

Département de génie logiciel et des TI

Niveau conceptuel 1 d’interrogation de BDMM (p.

118) •  Niveau 1: extrait automatique des

caractéristiques tel que couleur, forme, texture, localisation spatiale et mouvement des objets

•  La requête se fait dans les termes suivants: ‘Trouver des object qui possèdent du violet’

‘Trouver des images avec une région bleu ciel dans le haut de l’image’

Page 11: Interrogation de bases de données multimédias

21-02-01

11

Département de génie logiciel et des TI

Niveau conceptuel 2 d’interrogation de BDMM

•  Niveau 2 : extraction automatique des caractéristiques logiques qui sont reliées à l’identité d’un objet dans le média

•  Exemple de requête:

‘Trouver un vidéo d’une avion en approche’ ‘Trouver une image de baleine bleue’

Département de génie logiciel et des TI

Niveau conceptuel 3 d’interrogation de BD MM

Niveau 3 extraction automatique des attributs abstraits associés avec la compréhension de la nature et l’objectif de l’objet dans le média

•  Exemple de requête:

‘find a picture of nutritional disasters’ ‘Trouver une photo d’un acte terroriste’

Page 12: Interrogation de bases de données multimédias

21-02-01

12

Département de génie logiciel et des TI

Niveaux conceptuels d’interrogation de BD MM

•  Les niveaux 2 & 3 sont qualifiés de requêtes sémantiques. Toutefois actuellement les BDMM commerciales ont du succès principalement avec les requêtes de niveau 1.

•  La distance entre le niveau 1 et les niveau 2&3 se nomme ‘L’écart sémantique’

Département de génie logiciel et des TI

Trois approche d’extraction des informations

•  Attribute Based Retrieval – ABR •  Text Based Retrieval - TBR •  Content Based Retrieval - CBR or CBIR

Page 13: Interrogation de bases de données multimédias

21-02-01

13

Département de génie logiciel et des TI

Interrogation des attributs (ABR)

•  Utilise un ensemble d’attributs structurés comme dans les SGBD traditionnels

•  Doit pouvoir traiter des objets de grande taille, tel que des vidéos

•  Efficace pour des données textuelles •  N’utilise pas la richesse du contenu des

images •  Requêtes limitées au niveau conceptuel

1

Département de génie logiciel et des TI

Interrogation du texte (TBR) •  Il faut ajouter des annotations; courtes

descriptions dans des attributs structurées •  Difficile à réaliser en pratique

§  Annotations générées et saisies manuellement, donc dispendieuses

§  Annotations faites par des professionnels ≠ requêtes formulées par des utilisateurs

§  Formulation dépend de l’interprétation de l’utilisateur

Page 14: Interrogation de bases de données multimédias

21-02-01

14

Département de génie logiciel et des TI

Interrogation du contenu (CBR)

•  Alternative au TBR •  L’extraction de plusieurs éléments

d’information peut être automatisée •  Comble l’écart sémantique entre le

niveau 1 et les niveaux 2 & 3 •  Repérage plus intuitif car utilise des

éléments en relation naturelle avec les objets: texture, couleur, forme

Département de génie logiciel et des TI

Nature de l’interrogation

Techniques employées

Attribut (ABR)

Fixed Set of structured attributes, with indexing based on B+trees and inverted files

Texte (TBR)

Text descriptions and structured fields

Indexing by full text –scanning, inversion files, signature file methods

Contenu (CBR)

Content features automatically extracted

Fig 5.4

Page 15: Interrogation de bases de données multimédias

21-02-01

15

Département de génie logiciel et des TI

Caractéristiques physiques

Histogramme de couleur Image en format GIF

Voir aussi la pochette intérieure de votre livre

Département de génie logiciel et des TI

Les problèmes avec CBR “What is the growth rate of this kind of tumor?”

Combiner requête booléenne et QBE §  description: attributs spatiaux, temporels et

patrons sémantiques §  spécification: métaphore visuelle et intuitive

en interaction avec l’objet multimédia §  Représentation: métaphore visuelle pour

identifier l’appariement aux patrons

Page 16: Interrogation de bases de données multimédias

21-02-01

16

Département de génie logiciel et des TI

Ontologie ?

‘find some more images like this’ •  Repérage efficace utiliserait la

signification des éléments de l’image •  Une ontologie introduit une

compréhension commune •  Les significations peuvent être ajoutées

en méta données

Département de génie logiciel et des TI

Qu’est-ce qu’une ontologie ? •  Réseau sémantique d’un domaine

d’application §  Une liste de concepts spécifiques au domaine

d’application §  Description des objets du domaine §  Relations entre les concepts et les objets

•  Spécification explicite et formelle

Page 17: Interrogation de bases de données multimédias

21-02-01

17

Département de génie logiciel et des TI

Exemple Simple (tiré de http://www.ksl.stanford.edu/people/dlm/papers/ontology101/ontology101-noy-

mcguinness.html )

Département de génie logiciel et des TI

Construction ontologique

Définition

Exemple

Objet

Individu substentiel ou objet concret

Client Produit

Propriété

Les objets ont des propriétés Les propriétés n’ont pas de propriétés

Adresse Capacité de crédit Taille Propriété mutuelle

Dépend de l’existence de plusieurs objets

‘Employé’ dépend de ‘Personne’ et de ’Organisation’

Page 18: Interrogation de bases de données multimédias

21-02-01

18

Département de génie logiciel et des TI

Méta données •  ‘données à propos des données’ : données qui

décrivent les données §  Données de structure : nom des tables, des

colonnes, etc. §  Données de contraintes: décrivent le domaine des

valeurs

•  BDMM: descriptions individuelles des objets §  Source (provenance; ex: Web) §  Format (encodage) §  Etc.

Département de génie logiciel et des TI

3 classes de méta données Classe Exemple Utilisation

Indépendant du contenu

Nom du photographe

ABR

Décrit le contenu

Le nom des personnes

TBR

Dépend du contenu

Forme d’un papillon

CBR

Table 5-3

Page 19: Interrogation de bases de données multimédias

21-02-01

19

Département de génie logiciel et des TI

Exemples de Méta données

Média Indépendant du contenu

Décrit le contenu

Dépend du contenu

Texte Date de mise-à-jour

Mots clés, format

Frontière des sujets

Son Durée Personne qui parle

Reconnaissance vocale

Image Titre, date format Caractéristiques (traits)

Vidéo Distributeur, durée

Angles des prises de vues

Frontières des séquences

Table 5-4

Département de génie logiciel et des TI

Norme MPEG-7

Description (abstract)

Content Management (abstract)

Content Abstraction (abstract)

Content Entity

Audio-Visual content: - Image - Video - Audio - AudioVisual - MixedContent - ContentCollection

- SemanticDescription - ModelDescription - SummaryDescription - ViewDescription - VariationDescripti on

- UserDescription - CreationDescription - UsageDescription - ClassificationDescription

Content Description (abstract)

Complete

Page 20: Interrogation de bases de données multimédias

21-02-01

20

Département de génie logiciel et des TI

Partitions d’espace Partitions de données

2 classes : 1) Partitions de données et

2) Partitions d’espaces

Techniques Multidimensionnelles (de Harald Kosh)

Département de génie logiciel et des TI

Objectifs d’extraction automatique des caractéristiques

•  Réduire la taille des objets •  Classification, regroupement,

ordonnancement des objets •  Cherche à découvrir et synthétiser la

sémantique des objets MAIS •  Souvent paramètres sensibles : de

petites modifications aux entrées et paramètres = groupes différents