AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon...

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

Indexation vidéoIndexation multimédia

AnalyseExtraction Structuration

Représentation

RechercheFiltrage

InterrogationRequêtes

IndexDocuments

VisualisationExploration

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

Indexation multimédia

Moteurd'instanciationautomatique

Base de Données

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

SAMoVA

• Analyse audio

Jérôme Fariñas, Julien Pinquier, Jean-Luc Rouas

silencemusic speechspeech

French English

Speech transcription Speech transcription

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

SAMoVA

• Texte dans une vidéo– Quantification de couleurs– Etiquetage des régions– Heuristiques sur les dimensions et les

positions des zones de texte– Heuristiques sur l’alignement des zones

de texte

Hae-Kwang Kim – Bassem Haidar

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

SAMoVA

• Texte dans une vidéo

MILLIONSde francs

AIAMER

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

SAMoVA

• Texte dans une vidéo

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

SAMoVA

• Texte dans une vidéo– Chaînage

• Filtrage• Transcription (OCR)• Analyse statistique • Analyse linguistique

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

SAMoVA

• Trajectoire• Mean Shift maximisant le coefficient de Battacharyya

Gaël Jaffré

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

Indexation vidéo

• Paramètres de la production audiovisuelle

Projet ITEA KLIMT

– Costume• Identification• Fonction

– Cadrage– Décors– Eclairage

Gaël Jaffré

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

SAMoVA

• Mouvement du corps humain– Différence et filtrage– Localisation– Distance– Appariement

Thomas Fourès

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

• Mouvements du corps humain

Projets ITEA KLIMT – ROBEA GdansC

– Appariement d’un modèle hiérarchique

– Contraintes– Description XML

SAMoVA

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

SAMoVA

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

Indexation vidéo

• Mouvements du corps humain

<Motion Id = "1"><Start_Time>0.5</Start_time><End_Time>1</End_time><Left_Arm vertical="Down"/><Left_Weight vertical = "Center"><Right_Weight vertical="Center"><Right_Arm vertical="Down"/>

</Motion><Motion Id="2">

<LeftArm vertical = "Center" horizontal = "Front"/><RightArm vertical = "Center" horizontal = "Front"/>

</Motion>

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

Indexation multimédia

• Formalismes descriptifs– Pour la production audiovisuelle

• Indexation =

• Costume, éclairage, cadrage, décors, objet sonore

Segmentation

Caractérisation

Interprétation

Minh Phung Bui Thi

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

• Formalismes descriptifs– Pour la production audiovisuelle

• Indexation =

• Costume, éclairage, cadrage, décors, objet sonore

Interprétation

Indexation multimédia

Segmentation

Caractérisation

Minh Phung Bui Thi

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

Signe (Pierce)

• Formalismes descriptifs

Objetsémantique

Indexation multimédia

InterpretantPragmatique

RepresentamenSyntaxe

Types (costume, décor, montage, …)

Formes possibles, caractérisations

Différentes points de vueDifférentes méthodes d’analyseDifférents niveaux sémantiques{

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

Indexation multimédia

• Formalismes descriptifs : XML +– Expression de relations conceptuelles– Explicitation des mécanismes d’héritage

XML-Schema pour désambiguïser l’interprétation

– Compactage des descriptions (Bin-XML)

Claude Seyrat

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

Indexation multimédia

Siba Haidar

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

Indexation multimédia

• Macrosegmentation

– Typologie de l’évolution des caractéristiques bas-niveau AV

– Identification d’invariants de production– Distances de similarité

Siba Haidar

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

Indexation transmédia

• Interventions

– Segmentation en locuteurs

– Détection/identification des visages

Jean-Pierre Desmoulins

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

Indexation transmédia

• Leitmotivs

– Détection des jingles

– Détection des logos

Jérôme Louradour

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

Indexation multimédia

• Plateforme d’indexation multimédia dynamique

Projet ITEA KLIMT

– Service d’indexation – externalisation des applications

– Chaînage dynamique – typage des échanges (MPEG-7)

– Gestion dynamique des ressources – déclaration + contrôle de cohérenceBassem Haidar

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

Indexation multimédia

• Plateforme d’indexation multimédia dynamique

Indexer.exe

Component control

ConfiguratorInterface

ControlInteface

Specification.xml

Component 1

Component 2

Component n

server

annuaire

Relationship service

Service 2

Service 3

Primary server

Application

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

Indexation multimédia

• Plateforme d’indexation multimédia dynamique

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

Indexation multimédia

• Plateforme d’indexation multimédia dynamique (Chaînage KLIMT)

Speech/Music segmentation

(IRIT)

Language identification(TRT & IRIT)

english LVCSR (TRT)

french LVCSR (IRIT)

Topic detection and tracking

(TRT)

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

Projets en cours

• Recherche Automatique d’Informations Verbales Et Sonores : vers l’extraction et la structuration de données radiophoniques sur Internet (programme Interdisciplinaire « Société de l’information » CNRS)

• KnowLedge InterMediation Technology(projet Information Technology for European Advancement)

• Framework d’Expérimentations et de Réalisation Industrielle d’Applications multimédia (projet RIAM, Equipe SIG )

• GdansC (Projet Robea CNRS)• AS STIC Indexation Multimédia – transmodalité et gestion

des connaissances• AS «Question du geste dépendant des pratiques

artistiques» du RTP ArtiStic