UE303.c : cours n°2

Conception de système d’information multimédia

Promo. Master 2 en IST-IE

Contribution de :

Hanène Maghrebi Doctorante Équipe de recherche SITE – LORIA

Hanène.Maghrebi@loria.fr

2

Aspects du cours :

• Introduction au multimédia• Panorama des formats de documents

multimédias• Constitution d’un corpus multimédia• Introduction aux CMS avec l’outil SPIP• Application avec SPIP• Intégration d’un corpus multimédia sur un site

web avec l’outil SPIP et

-Évaluation

3

Introduction • Un document multimédia est un document

contenant des éléments de nature diverses ( textes, images, vidéo, son,…)

• Ces données multimédias sont stockées dans des fichiers

• Ces fichiers regroupent plusieurs médias et de méta - données, synchronisées sur une même base de temps

• La contrainte de la continuité de certains de ces éléments, d’une part, et le lien sémantique qui peut exister entre eux d’autre part, imposent une synchronisation assurant une cohérence sémantique de cette information

4

Document Multimédia S

truc

ture

+or

gani

satio

n

Contenu + Contenant

Support multimédia / Contenu : DVD, CD-ROM, Disque Optique….

Texte

Image Son

Vidéo

5

Exemple : un reportage d’un journal télévisé est rendu

incompréhensible si les commentaires du journaliste sont décalés par rapport à la vidéo, elle-même décalé par rapport aux illustrations graphiques.

• Le système sous – jacent devrait assurer la synchronisation entre plusieurs médias( vidéo,image, texte…)

6

Page d’accueil TF1 http://www.tf1.fr

7

• Quelle représentation pour le document multimédia?

• Représentation numérique

• Le numérique : Aperçu historique

8

Document Multimédias : historique • la représentation de document multimédia est

numérique• Fin des années 70 introduction du numérique dans

l’audiovisuel ( effets spéciaux)• 1981 : Sony présente le format Betacam• 1986 : naissance du premier format numérique le D1(

premier format d’enregistrement numérique à avoir été normalisé)

• Années 90 : procédés de compression MPG• 1993 : Sony invente le format Beta- numérique• Année 2000 : convergence audiovisuel /

informatique

9

Document Multimédia

Quelles structures ?

Pourquoi identifier les structures du document multimédia?

Comment identifier les structures?

10

Document multimédia quelles structures?

Un document multimédia est considéré comme semi structuré

• Sa structure est a priori irrégulière et sans définition générique

• « Sous le terme de document structuré, on entend les différentes entités logiques entrant dans l’élaboration d’un document, les règles d’organisation de ces entités entre elles, et les outils de manipulation de ces entités »[balpe 96]

• concevoir l'organisation d'un document permet de mieux choisir les langages de spécification et les techniques de formatage associées à chaque dimension.

11

document multimédia : une structure multicouche

Un document multimédia• Une structure multicouche • Organisé selon plusieurs dimensions : Physique LogiqueTemporelle Spatiale

En général on distingue deux types de structure :

physique / logique

12

les structures du document multimédia: identification

• Pourquoi ?• Comprendre un document nécessite d'en

reconnaître ses structures ( physique, logique…)• Comment ?• La première étape de reconnaissance de la

structure physique fait apparaître les blocs • ( texte, lignes,mots… séquences, scène, plan..) • Au cours de la seconde étape de

reconnaissance de la structure logique, les entités physiques sont interprétées comme des entités signifiantes

13

les structures du document multimédia: identification

Décrire la structure d’un document consiste à

• Identifier

• Décrire chacun des éléments textuelles , ou non textuelles (image animée + image fixe+vidéo), qui le constitue

14

Image animée

Vidéo(image animée + son)

Texte

Bloc

Bloc

15

Structure physique

La structure physique : • Désigne le positionnement de composants d’un

document, • leur agencement les uns par rapport aux autres,

ainsi que l’ensemble des caractéristiques typographiques

La structure physique désigne la segmentation d’un document en zones homogènes, partageant les mêmes propriétés typographiques ou graphiques

16

• Exemple 1 : document étudié : textuel• on décrira la typographie et la mise en page • Exemple 2 : document étudié: audiovisuel

(séquence vidéo)• on peut identifier une référence de• type image ( animée)• type texte ( commentaire)• type son ( musique)• chaque référence est a son tour composé de

plusieurs éléments

17

Structure logique

• La structure logique décrira le rôle et la nature de chaque élément d’un document multimédia ainsi que l’ensemble des liens hiérarchiques et / ou logique qui les lient les uns autres avec les autres

• La structure logique permet de regrouper les blocs physiques en entités logiques la structure logique d'un document permet de le décomposer en sous parties.

18

• Une structure physique bien conçue aura pour principal qualité de rendre lisible la structure logique du document ce qui peut amener à confondre les deux

• Distinguer entre les deux type de structuration car même si elles peuvent conduire toutes les deux à un découpage du document équivalent, la manipulation des éléments du document et l’accès à chacun d’eux sont différents

19

Structures thématique, temporelle et spatiale

• La structure thématique :• concerne le contenu correspond à une

segmentation en blocs sémantiquement homogènes

• Les structures temporelles et spatiales sont orthogonales

• Elles ne sont cependant pas indépendantes de la structuration logique qui pose en quelque sorte des frontières spatio-temporelles à l’intérieur du document

20

• Le Document multimédia

• Quelles composants ? Texte Image Son

Vidéo

21

L’image

• Définitions : • Une image, du latin imago : désigne la

représentation visuelle d'un objet par différents moyens ou supports:

PeintureDessinPhotographieImage numériqueVidéo…

22

L’image numériqueLes images que permet les appareils numériques

sont des images matricielles

• une image matricielle / numérique est constituée d’une succession d’éléments de base lumineux (pixels) disposés régulièrement selon deux dimensions (3 dimensions dans le cas d’images 3D)

• Plus la densité des points est élevée, plus la résolution de l’image est élevée

• La place et la durée de traitement est plus grande

23

Le pixel

• Le pixel représente une valeur. Dans le cas des images à niveau du gris, cette valeur représente la luminance du signal du départ. Dans celui des images en couleur, la valeur du pixel est constituée de trois composants : rouge, vert et bleu. La composition de ces trois couleurs primaires permet de décrire l’ensemble des couleurs

• Un pixel est défini par les valeurs que peut prendre son intensité

• Les intensités des pixels sont codées sur b bits

24

La compression• Les données numériques sont des données intenses

• Ceci pose problème au niveau de la transmission et du stockage

• il s’agit en fait « d’un ensemble de des opérations qui visent à réduire le volume de données »

• Les progrès en matière de transmission et de compression n’ont jamais cessé( JPEG, JPEG2000, MPEG1-MPEG21)

• Le domaine de compression recouvre un grand nombre de méthodes

25

Exemple : l’importance de la compression

Le standard de la télévision aux USA représente le format d’une image de télévision numérique couleur par : 720 x 480 x 2 pixels 4 ( soit 691200), chacun étant codé sur 24 bits.

A raison d’environ 30 images par seconde, la transmission d’un programme de télévision numérique nécessite une bande passante d’environ (1/2 x 30x691200x24HZ5, soit 249 MHZ.

Or la bande passante disponible au USA pour ce type d’images n‘est que de 4,2 MHZ. Il faut donc compresser la séquence d’images numériques d’un facteur 5 ( s’il s’agit d’une télévision haute définition, ce facteur sera multiplié par 3)

26

L’image animée• Une image animée est une image (dessin, peinture,

photographie…) montée dans une suite logique permettant une impression d’activité et de mouvement

• Le mouvement est décomposé en une succession d’images fixes dont la division à une fréquence donnée donne l’illusion du mouvement contenu

• Chacune des phases du mouvement est réalisées et enregistrées images par image

• Les images sont restituées à une fréquence régulière suffisante pour que le cerveau et l’inertie des phénomène entrant dans la vision

• La fréquences standards sont de 25 images / seconde

27

Imagée animée http://www.toutimages.com/

28

Le Son

Définitions• Un phénomène physique : une onde produite par une vibration

(mécanique) rapide de compression et de dépression du milieu dans lequel il se propage ( l’air / l’eau )

• Un phénomène physiologique : La sensation auditive produite par le phénomène physique

• La vibration d’un objet comprime ou détend l’air qui nous entoure, ces vibrations détectées par l’oreille, engendre un son

• Le son se caractérise par:• Son amplitude• Sa fréquence • Son timbre

29

Le son• Caractéristiques

– Amplitude ( intensité): correspond aux variations de pression de l’onde. La force perçu du son dépend de l’amplitude. Le son peut être fort ou doux

– L’intensité acoustique se mesure en décibels(DB). Une échelle de perception graduée de 0à 200 para rapport au seuil de perception de l’oreille humaine

– La distinction entre sons forts ou faibles est liée à l'amplitude des vibrations de l'air transmettant les sons à l'oreille

Fréquence : nombre de fois qu’une grandeur périodique se produit identiquement à elle-même en u ne seconde. La fréquence se mesure en Hertz ( HZ).la fréquence du son permet de distinguer les sons graves des sons aigus. Plus un son est haut plus il est aigu.

30

Le son

• Caractéristiques– Timbre : le timbre est différent pour chaque type de source

sonore.

– Exemple : une même note jouée avec la même force mais avec deux instruments de musique différents ne donne pas le même timbre du son

– – Le timbre est une notion subjective permettant de qualifier et de

distinguer des sons de hauteur et d'intensité identiques

– Les techniques de modulation des ondes (modulation d’amplitude et modulation de fréquence) sont utilisées en radiodiffusion

31

Le son : les sous ensemble• Les composants du son sont : le bruit , la

musique et la voix

Son

BruitVoixMusique

ParoleCri

Dialogue Monologue

Voix Instrument

32

Le Bruit

• Définitions :– Phénomène acoustique produisant une sensation

auditive considérée comme désagréable ou gênante

– La superposition de sons purs(c'est-à-dire à une seule fréquence) donne un phénomène acoustique aléatoire, où l'on ne peut distinguer de fréquences (à l'inverse des sons complexes), on est alors en présence de bruit.

33

La Voix• Définitions:

– Son ou ensemble de sons produits par le larynx, quand les cordes vocales entrent en vibration (sous l'effet d'une excitation nerveuse rythmique

– La voix, parce qu'elle est le produit acoustique d'un comportement sensori-moteur, porte l'empreinte corporelle des trois systèmes (respiratoire, phonatoire, articulatoire) impliqués dans sa production

exemple : le cri néonatal est un phénomène sonore d’une durée de 1à 4 seconde, d’une intensité de 82 décibels, et d’une hauteur fréquentielle plutôt aigu de 350 à 500 HZ

34

La parole

• Définitions:– La parole est l'ensemble des choix lexicaux,

articulatoires et acoustiques réalisés lors d'une communication orale dans une langue donnée.

– L'acte de parole est destiné à satisfaire les besoins communicatifs d'un sujet parlant dans une situation concrète.La parole : la fréquence fondamentale moyenne de la parole des femmes est de 202 à 250 HZ

35

La musique

Définitions :– Une succession de sons organisés – Une combinaison des sons provenant

d’instruments de musique et de silences– ’’L’art des sons’’, elle englobe toute construction

artistique, combinatoire ou aléatoire, destinée a être perçu par l’ouie

– la musique est " un système de différences qui structure le temps sous la catégorie du sonore " (Boucourechliev)

36

La vidéo

• Définitions:– Ensemble des techniques permettant la visualisation ou

l’enregistrement d’images animées accompagnées de son– Flux vidéo : information continu composé d’une succession

d’images et de son ( 25/ secondes en Europe et 30/ seconde en USA)

– Mixage: Il consiste à équilibrer les fréquences et amplitude relatives d’un certains nombre de sources audio

– Montage : c’est l’action d’agencer images et sons. Exemple:c’est l’action d’assembler de bout à bout plusieurs plans pour former des séquences…

37

• Accès aux documents multimédias :

Catalogage Indexation Normes Langages

38

Accès aux documents : Catalogage

• Définitions: – Il consiste à analyser le document en tant que support– Il est fondé sur une norme internationale, il s’agit d’identifier– les éléments à prélever– L’auteur– Le titre– L’éditeur et la date d’édition– La pagination– La collection les mots sujets– L’ISBN ou L’ISSN

• la partie du document ou les éléments doivent être prélever et l’ordre dans lequel les éléments définis par la norme doivent être retenue

39

Normes AFNOR de catalogage

Z 44- 050 catalogage de monographiesFD Z 44- 063 catalogue des publications en sérieZ44-063 Catalogage des documents cartographiquesZ44- 069 Catalogage de la musique impriméeISBD ( G) [General]ISBD(M) [Monographs]ISBD(CP)[Cartographic Material]ISBD(PM) [PrintedMusic]ISBD ( Non BooK Material] FD Z 44-07 Catalogage de l’image fixeFD Z 44-065 Catalogage des enregistrements sonores

40

Normes AFNOR de catalogage

• Des documents sonores : Z 44-066 (Décembre 1988)• Documentation – Catalogage des enregistrements

sonores – Rédaction de la notice phonographique• Des images animées : FD Z 44-065 (Septembre 1998)

Documentation Catalogage des vidéogrammes – Rédaction de la description bibliographique

• Des images fixes FD Z 44-077( Septembre 1997) Documentation – Catalogage de l'image fixe – Rédaction de la description bibliographique

• Description bibliographique internationale normalisée des ‘‘non livres’’

41

Accès aux documents multimédias : Indexation

• Approche documentaire: Représentation, par les éléments d’un langage documentaire, des notions résultant de l’analyse d’un document en vue d’en faciliter la recherche

• Approche linguiste : représentation du document par le document lui-même

42

Accès aux documents multimédias: Markup Langages

Markup Languges: Langages de description / balisageservant à :• définir l’affichage et à structurer les informations

contenus dans un document multimédia; page web d’un site Internet ( titre, paragraphes, sauts de ligne, gras …)– Créer une base de donnée de livres– La mise en place d’un répertoire sur un téléphone mobile

• Parmi les langages permettant l’accès au document multimédia : XML, SMIL, RDF, SVG…

43

Les langages balisages

• Deux type en générale– Destiner a stocker l’information (ex. XML)– Destiner a afficher (ex. HTML)

44

HTML

• HTML pour l’affichage d’info

• Exemple– <b>Nancy 2 </b> = Nancy 2

– <font size=6> Master 2 </font> = Master 2

45

XML: eXtensible Markup Language

• Langage informatique de balisage générique• Un protocole de stockage et de gestion de

l’information• Il permet l’échange automatisé de contenus

entre système d’informations hétérogènes (notamment sur Internet)

• Peut stocker et organiser n’importe quel type d’informations dont les informations multimédias

• Un standard universel évolutif et ouvert

46

Langages en relation avec XML

• Depuis son introduction en 1996, XML a envahi tous les domaines:

• Documentaires : documentation scientifique et technique (SGML)

• Documentation bureautique : office 11 et Open Office• Commerce électronique : ebXML• Audiovisuels et artistiques :• Graphiques : SVG• Multimédia : SMIL

47

Exemple : XML

• <Livre>

• <Titre> Stratégies des PME et intelligence économique </Titre>

• <Auteur>Maryse Salles</Auteur>

• <Pages>169</Pages>

• <Langue>français</langue>

• </Livre>

48

Exemple 2

• <Dialogue>• <Dialogue in Rodolphe, Henri,la servante> • <locuteur>Rodolphe</locuteur>• <parole>dis donc!c’est des laitiers!

</parole>• <locuteur>Henri</locuteur>• <parole>qu’est ce que tu veux

que ça me fiche.</parole>• </dialogue in Rodolphe, Henri, la servante>• </Dialogue>

49

Le format RDF-- XML

RDF : Resource Description Framework • Système de définition de ressources • permettant à des applications d'échanger des

données à travers le Web.

Par extension, format universel de description de données visant notamment à créer un système d'indexation adapté à la création de serveurs de recherche sur l'Internet

50

Le format RDF--XML: fonctionnalités (1)

RDF est un modèle associé à la syntaxe XML permettant :

• De structurer l’information accessible sur le web et de l’indexer efficacement

• A une communauté d’utilisateurs de partager les mêmes méta données pour des ressources partagées

• Stocker les méta données de document

51

Le format RDF--XML: fonctionnalités (2)

• Représenter les méta données, en utilisant le concept clé de triplet {ressource, propriété, valeur}

• Ces trois parties sont appelées respectivement sujet,prédicat et objet

• Exemple: le sujet peut être un document à commenter, l'objet une propriété de ce document comme son titre et le prédicat la valeur de cette propriété

52

Le format SMIL--XML• SMIL : Synchronized Multimedia Integration

LangugeSMIL• (description fine de la structure d’un document multimédia)

• L'objectif de SMIL est de permettre l'intégration de contenus multimédias diversifiés (images, sons, textes, vidéo, animations, flux de texte) en les synchronisant afin de permettre la création de présentations multimédias

• SMIL assure la • Gestion des médias : les contenus • Gestion de l'espace d'affichage : layout • Gestion du temps : synchronisation • Gestion de l'interaction utilisateur

53

SMIL

Synchronized

Ça concerne la synchronisation

Multimedia

Non seulement les graphiques

Integration

En combinant les sources du web

Language

Dans une syntaxe XML

54

SMIL: fonctionnalités• SMIL 2.0 est constitué de 45 modules répartis en 10 groupes :• 1.Timing (19 modules) : le coeur de SMIL • 2.Time Manipulations (1 module) : changement du cours du temps • 3.Animation (2 modules) : évolution temporelle des valeurs d'un

attribut • 4.Content Control (4 modules) : sélection de contenu, adaptation,

optimisation • 5.Layout (4 modules) : positionnement sur l'écran et sur les canaux

audio • 6.Linking (3 modules) : navigation hypermédia • 7.Media Objects (7 modules) : les médias de base • 8.Meta-information (1 module) : méta-données à propos du

contenu • 9.Structure (1 module) : structure principale d'un document • 10.Transitions (3 modules) : fondus, effets visuels

55

SMIL-- XML

SMIL s'appuie sur le langage XML

• La structure XML d'un document SMIL décrit le déroulement temporel et spatial des différents composants intégrés. En d'autres termes, SMIL permet d'indiquer le moment où un contenu sera affiché, pendant combien de temps et dans quelle partie de la fenêtre d'affichage.

56

SMIL: Structure d'un document

• Un document SMIL contient deux parties :

• entête<head> – layout et méta-information

• corps<body> – contenus et liens, comme dans HTML gestion

du temps : scénario temporel, animations, transitions

57

SMIL :Synchronisation

• Le corps du document <body> contient la structure temporelle et les médias

• Définition par une structure hiérarchique d'opérateurs

• Parallèle <par> Les éléments contenus sont joués en même temps

• Séquence <seq> Les éléments contenus sont joués l'un après l'autre, dans l'ordre

• Les objets média constituent les feuilles de la structure

58

SMIL : Contenus

• Les contenus sont externes au document SMIL

• Types de contenus :• <text> HTML, RealText • <image> JPEG, PNG, GIF, RealPix • <video> MPEG, RealVideo • <audio> WAV, RealAudio • <animation> SVG, GIF

59

SMIL : exemple

• Dans cet exemple, l'élément image commence (apparaît) quand l'utilisateur clique sur l'élément "show". L'image se termine (disparaît) 3 secondes et demi plus tard.

• <smil ...> ... <text id="show" ... /> <img begin="show.activateEvent" dur="3.5s" ... /> ...

</smil ...>

60

SVG--XML

• SVG : Scalable Vector Graphics • Un langage XML pour décrire des graphiques

2D contenant :• des formes vectorielles • des images • du texte • Structuration : hiérarchie d'objets, références, style

transformations géométriques.• Effets : clipping, transparence, filtres• Dynamique : interaction (événements, scripts, DOM),

animation (SMIL)

61

Dublin Core

• Dublin Core: est un schéma de méta données générique qui permet de décrire une ressource numérique ou physique et d’établir des relations avec d'autres ressources.

• Il comprend 15 éléments de description • Description formels : titre, auteur, créateur, éditeur…• Description intellectuels : sujet, description, langue…• Description relatifs à la propriété intellectuelle• La signification de certains éléments peut être précisée à l'aide de

raffinements. • Ces descriptions doivent être fournis par le producteur de la

ressource. • Un raffinement restreint la signification d'un élément, mais sans la

changer fondamentalement. L'utilisation des raffinements est facultative. Lorsque ces raffinements sont utilisés, on parle de Dublin Core Qualifié

62

Formats de compression de document Multimédias

• Codec : (codeur et décodeur) = compresser / décompresser

• Il s’agit d’un procédé de compresser ou de Décompresser un signal ( audio / vidéo)

• L’information est codée en binaire ; un même élément peut se trouver dans deux états différents stable , il constitue une mémoire élémentaire ou bit

• Il existe actuellement différents standards de compression dédiés au donnée multimédias citons par exemples : MPEG, JPEG2000, BMP, PNG, GIF, TIFF

63

Formats de compression de document Multimédias:

MPEG

• MPEG : Moving Picture Expert Group ( crée en 1988 par l’ISO)• MPEG -1 : standard en 1992, pour des applications de stockage Audio/

vidéo du type Vidéo CD • MPEG -2 : standard en 1994, vise les applications liées à la diffusion /

broadcast de la télévision numérique, ce format vidéo est utilisé pour les DVD, VCD? Et SVCD avec différentes résolutions d’images

• MPEG - 4 : standard en 1998, norme de codage vidéo, intégration des formats audiovisuels( Audio, Vidéo, 2D, 3D)

• les usages de l’MPEG-4 englobent les applications multimédias ( téléchargement / streaming sur Internet, le multimédia sur mobile

• MPEG-7 : standard en 2001 : norme de description : faciliter l’indexation et la recherche de DM

• MPEG-21: standard en2000, dont le but est de créer une architecture permettant l’interopérabilité et l’utilisation transparente de tous les contenus multimédias

• MPEG-A: tourné vers les applications multimédia ( en cours de standardisation)

64

Formats de compression de document Multimédias : JPEG

• JPEG • fait référence à la norme de compression ( ISO / CEI )

10918-1 ou UIT6T

• Spécifie la transformation d’une image brute à une suite de bits

• JPEG File Interchange Format (JFIF) : spécifie comment stocker les informations sur ses dimensions,ses références….

JPEG est utilisé pour les photographies(Marcoromedia Flash s’impose pour les animations)

65

Autres Formats de compression de document Multimédias

• BMP : format d’image numérique utilisé par windows et IBM

• PNG : (Protable Network Graphics) normalisé par l’ISO ( ISO/ CEI15948) en 2004: format d’image numérique adapté pour publier des images simples comprenant des aplats de couleurs, approprié au enregistrement synthétiques destinées au web

66

Autres Formats de compression de document Multimédias

• GIF : (Graphics Interchange Format) mis au point en 1987/1989 pour permettre le téléchargement d’images en couleur

• TIFF : (Image File Format) permet l’enregistrement des données multi-octes

67

Autres Formats de compression de document Multimédias

• Format AVI : Audio-Video Interleaved (entrelacement audio-vidéo)  Format de fichier vidéo pour Windows

•  QuickTime Movies :films Quick Time (mov):

 Normes de compression privées d'Apple pour les fichiers vidéo; fonctionne maintenant sur  d'autres plates-formes.

•

68

Contenu Multimédia

• Banques numériques

• Sites multimédias

• Ressources

69

Banques d’images numériques

• http://www.bnf.fr/• http://images.bnf.fr/jsp/index.jsp• http://gallica.bnf.fr/• http://opaline.bnf.fr/• http://creative.gettyimages.com/source/home/ho

meCreative.aspx• http://photographie.ladocumentationfrancaise.fr/

photographie/phototheque/search/search.html

• http://www.fotosearch.fr/• http://www.photoalto.fr/index/fa/c.home

70

• http://www.cerimes.education.fr/

• http://www.ina.fr/