Upload
thom
View
110
Download
4
Embed Size (px)
DESCRIPTION
Indexation vidéo Indexation multimédia. Analyse Extraction. Index. Documents. Structuration Représentation. Visualisation Exploration. Recherche Filtrage. Interrogation Requêtes. Indexation multimédia. Moteur d'instanciation automatique. Base de Données. SAMoVA. speech. speech. - PowerPoint PPT Presentation
Citation preview
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation vidéoIndexation multimédia
AnalyseExtraction Structuration
Représentation
RechercheFiltrage
InterrogationRequêtes
IndexDocuments
VisualisationExploration
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
Moteurd'instanciationautomatique
Base de Données
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Analyse audio
Jérôme Fariñas, Julien Pinquier, Jean-Luc Rouas
silencemusic speechspeech
French English
Speech transcription Speech transcription
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Texte dans une vidéo– Quantification de couleurs– Etiquetage des régions– Heuristiques sur les dimensions et les
positions des zones de texte– Heuristiques sur l’alignement des zones
de texte
Hae-Kwang Kim – Bassem Haidar
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Texte dans une vidéo
MILLIONSde francs
AIAMER
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Texte dans une vidéo
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Texte dans une vidéo– Chaînage
• Filtrage• Transcription (OCR)• Analyse statistique • Analyse linguistique
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Trajectoire• Mean Shift maximisant le coefficient de Battacharyya
Gaël Jaffré
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation vidéo
• Paramètres de la production audiovisuelle
Projet ITEA KLIMT
– Costume• Identification• Fonction
– Cadrage– Décors– Eclairage
Gaël Jaffré
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Mouvement du corps humain– Différence et filtrage– Localisation– Distance– Appariement
Thomas Fourès
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
• Mouvements du corps humain
Projets ITEA KLIMT – ROBEA GdansC
– Appariement d’un modèle hiérarchique
– Contraintes– Description XML
SAMoVA
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation vidéo
• Mouvements du corps humain
<Motion Id = "1"><Start_Time>0.5</Start_time><End_Time>1</End_time><Left_Arm vertical="Down"/><Left_Weight vertical = "Center"><Right_Weight vertical="Center"><Right_Arm vertical="Down"/>
</Motion><Motion Id="2">
<LeftArm vertical = "Center" horizontal = "Front"/><RightArm vertical = "Center" horizontal = "Front"/>
</Motion>
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Formalismes descriptifs– Pour la production audiovisuelle
• Indexation =
• Costume, éclairage, cadrage, décors, objet sonore
Segmentation
Caractérisation
Interprétation
Minh Phung Bui Thi
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
• Formalismes descriptifs– Pour la production audiovisuelle
• Indexation =
• Costume, éclairage, cadrage, décors, objet sonore
Interprétation
Indexation multimédia
Segmentation
Caractérisation
Minh Phung Bui Thi
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Signe (Pierce)
• Formalismes descriptifs
Objetsémantique
Indexation multimédia
InterpretantPragmatique
RepresentamenSyntaxe
Types (costume, décor, montage, …)
Formes possibles, caractérisations
Différentes points de vueDifférentes méthodes d’analyseDifférents niveaux sémantiques{
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Formalismes descriptifs : XML +– Expression de relations conceptuelles– Explicitation des mécanismes d’héritage
XML-Schema pour désambiguïser l’interprétation
– Compactage des descriptions (Bin-XML)
Claude Seyrat
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
Siba Haidar
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Macrosegmentation
– Typologie de l’évolution des caractéristiques bas-niveau AV
– Identification d’invariants de production– Distances de similarité
Siba Haidar
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation transmédia
• Interventions
– Segmentation en locuteurs
– Détection/identification des visages
Jean-Pierre Desmoulins
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation transmédia
• Leitmotivs
– Détection des jingles
– Détection des logos
Jérôme Louradour
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Plateforme d’indexation multimédia dynamique
Projet ITEA KLIMT
– Service d’indexation – externalisation des applications
– Chaînage dynamique – typage des échanges (MPEG-7)
– Gestion dynamique des ressources – déclaration + contrôle de cohérenceBassem Haidar
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Plateforme d’indexation multimédia dynamique
Indexer.exe
Component control
ConfiguratorInterface
ControlInteface
Specification.xml
Component 1
Component 2
Component n
server
annuaire
Relationship service
Service 2
Service 3
Primary server
Application
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Plateforme d’indexation multimédia dynamique
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Plateforme d’indexation multimédia dynamique (Chaînage KLIMT)
Speech/Music segmentation
(IRIT)
Language identification(TRT & IRIT)
english LVCSR (TRT)
french LVCSR (IRIT)
Topic detection and tracking
(TRT)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Projets en cours
• Recherche Automatique d’Informations Verbales Et Sonores : vers l’extraction et la structuration de données radiophoniques sur Internet (programme Interdisciplinaire « Société de l’information » CNRS)
• KnowLedge InterMediation Technology(projet Information Technology for European Advancement)
• Framework d’Expérimentations et de Réalisation Industrielle d’Applications multimédia (projet RIAM, Equipe SIG )
• GdansC (Projet Robea CNRS)• AS STIC Indexation Multimédia – transmodalité et gestion
des connaissances• AS «Question du geste dépendant des pratiques
artistiques» du RTP ArtiStic