11 FF 11/04/2311/04/23

La numérisationLa numérisationDe La Haute DéfinitionDe La Haute Définition

Du MPEG-2 au MPEG-7Du MPEG-2 au MPEG-7

Et le D-CINEMA JPEG 2000Et le D-CINEMA JPEG 2000

22 FF 11/04/2311/04/23

De la Production analogique à la De la Production analogique à la production Numériqueproduction Numérique

mmmm mm mm mmmm²²

Support Format Hauteur Largeur SuperficieSupport Format Hauteur Largeur Superficie

70 mm70 mm 2:282:28 23,01 23,01 52,4852,48 1207,56 1207,56

Super 35 mmSuper 35 mm 2:37 2:37 18,67 18,67 24,9224,92 465,26 465,26

35 mm35 mm 1:661:66 16 16 21,9521,95 351,20 351,201:851:85 16 16 21,9521,95 351,20 351,20

Super 16mmSuper 16mm 1,661,66 07,42 07,42 12,3512,35 91,64 91,64

16mm16mm 1:371:37 07,49 07,49 10,2610,26 76,85 76,85

Super 8mmSuper 8mm 1:341:34 04,14 04,14 5,79 5,79 23,97 23,97

33 FF 11/04/2311/04/23

La Définition D’une Image La Définition D’une Image Analogique.Analogique.

Sensibilité de la pellicule.Sensibilité de la pellicule.

L’optique: la focale utilisée.L’optique: la focale utilisée.

Le niveau de luminosité: le diaphragme.Le niveau de luminosité: le diaphragme.

44 FF 11/04/2311/04/23

Transfert Film vers le support HDTransfert Film vers le support HD

Majorité des tournages sont en 24 images/secMajorité des tournages sont en 24 images/sec En Europe le Standard HD = 25 images/secEn Europe le Standard HD = 25 images/sec 4/5 du monde fonctionne en 30 images/sec4/5 du monde fonctionne en 30 images/sec

Les producteurs plaident pour une uniformisation : Les producteurs plaident pour une uniformisation :

Le 24 images/sec en Progressif 24 PLe 24 images/sec en Progressif 24 P

55 FF 11/04/2311/04/23

La La Numérisation HDNumérisation HD

1 . L1 . Le e signal est numérisé par un convertisseur analogique / signal est numérisé par un convertisseur analogique / numérique :numérique :

ÉÉchantillonnage = découpage tempochantillonnage = découpage temporel du signalrel du signal Quantification = convertir Quantification = convertir en valeur numérique en valeur numérique

binaire binaire

Aux normes ISO (INTERNATIONAL STANDART ORGANISATION)Aux normes ISO (INTERNATIONAL STANDART ORGANISATION)

66 FF 11/04/2311/04/23

1.La Fréquence d’échantillonnage1.La Fréquence d’échantillonnage

Un signal est numérisé par un convertisseur Un signal est numérisé par un convertisseur analogique / numérique. analogique / numérique.

Il est découpé à un rythme régulier ou période. On Il est découpé à un rythme régulier ou période. On défini ainsi sa fréquence d’échantillonnage.défini ainsi sa fréquence d’échantillonnage.

La loi de Nyquist détermine que la fréquence La loi de Nyquist détermine que la fréquence d’échantillonnage doit être au moins le double de la d’échantillonnage doit être au moins le double de la plus haute fréquence reproductible.plus haute fréquence reproductible.

La fréquence d’échantillonnage est au minimum de La fréquence d’échantillonnage est au minimum de 13,5 Mhz, c’est-à-dire au moins deux fois supérieure à 13,5 Mhz, c’est-à-dire au moins deux fois supérieure à la fréquence maximale du signal qui est de 5,5 Mhz.la fréquence maximale du signal qui est de 5,5 Mhz.

A chaque période le signal est quantifié et converti en A chaque période le signal est quantifié et converti en valeurs binaires 0 ou 1.valeurs binaires 0 ou 1.

77 FF 11/04/2311/04/23

2. La Quantification2. La Quantification

Le signal est analysé en intensité électrique au bout d’une durée Le signal est analysé en intensité électrique au bout d’une durée qui est fonction de la fréquence d’échantillonnage. Chaque intensité qui est fonction de la fréquence d’échantillonnage. Chaque intensité est quantifiée et mémorisée sous forme de mot binaire. A ce niveau est quantifiée et mémorisée sous forme de mot binaire. A ce niveau arrive la notion de arrive la notion de Résolution.Résolution.

En TVHD une quantification En TVHD une quantification en en 8 Bit8 Bit peut être suffisante. peut être suffisante.SONY SONY HDCAM SR HDCAM SR 10 Bit10 Bit

HDCAM HDCAM 8 Bit8 BitPANASONIC PANASONIC D5 –HD D5 –HD 8 à 10 Bit8 à 10 Bit

VARICAM HD100 VARICAM HD100 8 Bit8 Bit

En D-Cinéma on fait appel à En D-Cinéma on fait appel à 10 ou 16 Bit10 ou 16 Bit au moins. au moins. THOMSONTHOMSON LA VIPER LA VIPER 10 Bit10 Bit DALSADALSA L’Origin L’Origin 14 bit14 bit ARRIARRI D20 D20 12 Bit12 Bit PANAVISIONPANAVISION GENESIS GENESIS 12 Bit12 Bit

88 FF 11/04/2311/04/23

La quantification : transformerLa quantification : transformerun signal en codage binaire un signal en codage binaire

La quantification La quantification sur 8 bits :sur 8 bits : de de 0 à 256 valeurs0 à 256 valeurs

Un Bits peut connaître deux états: Un Bits peut connaître deux états: 0 ou 1.0 ou 1. Les Bits en informatique sont Les Bits en informatique sont généralement placés en série de 8 BITS appelés BYTES ou OCTET.généralement placés en série de 8 BITS appelés BYTES ou OCTET.Avec 8 BITS dans un BYTE ou OCTET, on peut différentier Avec 8 BITS dans un BYTE ou OCTET, on peut différentier 256256 valeurs valeurs

numériques différentes comprises entre numériques différentes comprises entre 0 et 255. 0 et 255. (2 )(2 ) 0 = 000000000 = 00000000 1 = 00000001 2 = 00000010 1 = 00000001 2 = 00000010 254 = 11111110 255 = 11111111 254 = 11111110 255 = 11111111

88

00000000 00000000 00000000 00001111

00000000 00000000 00000000 11110000

00000000 00000000 00000000 00000000

11111111 11111111 11111111 00001111

11111111 11111111 11111111 11111111

= 0

= 1

= 2

= 254

= 255

99 FF 11/04/2311/04/23

La quantification La quantification sur sur 9,10,11,12,149,10,11,12,14 bits : bits :

A chaque fois que l’on ajoute un bit supplémentaire, A chaque fois que l’on ajoute un bit supplémentaire, le nombre de combinaison est doublée:le nombre de combinaison est doublée:

9 Bits possède 512 états 9 Bits possède 512 états 10 Bits possède 1.024 états 10 Bits possède 1.024 états 11 Bits possède 2.048 états 11 Bits possède 2.048 états 12 Bits possède 4.096 états12 Bits possède 4.096 états13 Bits possède 8.192 états13 Bits possède 8.192 états14 Bits possède 16.384 états14 Bits possède 16.384 états15 Bits possède 32.768 états15 Bits possède 32.768 états16 Bits possède 65.536 états16 Bits possède 65.536 états

- Le canal numérique à une bande passante énorme mais demande un stockage- Le canal numérique à une bande passante énorme mais demande un stockage proportionnel. proportionnel.

- Jusqu’à ce jour on a fait appel à la compression. Les nouvelles caméras ouvrentJusqu’à ce jour on a fait appel à la compression. Les nouvelles caméras ouvrentla perspective de la non compression sur toute la chaîne du tournage à la diffusionla perspective de la non compression sur toute la chaîne du tournage à la diffusionen salle.en salle.

1010FF 11/04/2311/04/23

Le système couleur en Le système couleur en HD non compresséHD non compressé : :RGB – RVB RGB – RVB

Red - RougeRed - Rouge

Blue - BleuBlue - Bleu

Green - VertGreen - Vert

RGB - RVBRGB - RVB

Soit en Soit en codage sur codage sur 1616 bits (en 2006): bits (en 2006):

= = 65.53665.536 niveaux niveaux 111100001111 00001111 00000000 111100001111 1111 1111

= = 65.53665.536 niveaux niveaux111100001111 00001111 00000000 111100001111 1111 1111

= = 65.53665.536 niveaux niveaux111100001111 00001111 00000000 111100001111 1111 1111

Le double canal HD - SDI permet sur une résolution de 16 Bits Le double canal HD - SDI permet sur une résolution de 16 Bits

d’obtenir une bande passante de couleur RGB intégrale.d’obtenir une bande passante de couleur RGB intégrale.

* La caméra Genesis Panavision, l’ARRI D 20,* La caméra Genesis Panavision, l’ARRI D 20,

1111FF 11/04/2311/04/23

VertVert

BleuBleu

RougeRouge

System RGBSystem RGB

R - YR - Y

B - YB - Y

YY

Composant CouleurComposant Couleur

LuminanceLuminance

ChrominanceChrominance

ChrominanceChrominance

(V = Y – 0,3 R – 0,11 B)(V = Y – 0,3 R – 0,11 B) 0,590,59

Le système couleur en télévision :Le système couleur en télévision :Y = Y = 0,3 R0,3 R + + 0,59 V0,59 V + + 0,11 B0,11 B

1212FF 11/04/2311/04/23

4 : 4 : 44 : 4 : 4 Pixel 1 Pixel 2 Pixel 3 Pixel 4Pixel 1 Pixel 2 Pixel 3 Pixel 4YY 16 bits 16 bits 16 bits 16 bits16 bits 16 bits 16 bits 16 bitsCrCr 16 bits 16 bits 16 bits 16 bits16 bits 16 bits 16 bits 16 bitsCbCb 16 bits 16 bits 16 bits 16 bits16 bits 16 bits 16 bits 16 bits

4 : 2 : 24 : 2 : 2 Pixel 1 Pixel 2 Pixel 3 Pixel 4Pixel 1 Pixel 2 Pixel 3 Pixel 4

YY 16 bits 16 bits 16 bits 16 bits16 bits 16 bits 16 bits 16 bits

CrCr 16 bits 16 bits Partagé Partagé 16 bits 16 bits PartagéPartagé

CbCb 16 bits 16 bits Partagé Partagé 16 bits 16 bits PartagéPartagé• La Caméra HDW-F750 Sony, la Varicam Panasonic.La Caméra HDW-F750 Sony, la Varicam Panasonic.

Bande passante 27Mhz et un débit de 216 Mb/sec en 8 bits

En Cinéma Haute Définition l’échantillonnage idéal doit En Cinéma Haute Définition l’échantillonnage idéal doit s’effectuer en 4 : 4 : 4 s’effectuer en 4 : 4 : 4 non compressénon compressé. (. (16 bits vers 2007)16 bits vers 2007)

* * la Viper, la HDCAM S R.la Viper, la HDCAM S R.

Les différents modes d’échantillonnage en Les différents modes d’échantillonnage en Haute Définition en Y Cb CrHaute Définition en Y Cb Cr

CompressionRéduction Couleur

de 33 %

1313FF 11/04/2311/04/23

Les formats de CompressionLes formats de Compression1. 1. La DCT (Discrete Cosinus La DCT (Discrete Cosinus Transform) Transform)

La DCT est utilisée pour le Jpeg en image fixe et pour le La DCT est utilisée pour le Jpeg en image fixe et pour le Mpeg-1, Mpeg-2, ou le Mpeg-4. Mpeg-1, Mpeg-2, ou le Mpeg-4.

1.1. Division de l’image en Macro Blocs par bloc de 8 x 8 Division de l’image en Macro Blocs par bloc de 8 x 8 pixels.pixels.

2. 2. La DCT opère une transformation du domaine spatial de La DCT opère une transformation du domaine spatial de pixels en domaine d’espace de fréquence. Elle utilise une pixels en domaine d’espace de fréquence. Elle utilise une fonction mathématique basée sur la transformée de fonction mathématique basée sur la transformée de Fourier.Fourier.

On aboutit à une matrice dont les différentes valeurs On aboutit à une matrice dont les différentes valeurs vont directement représenter la quantité de détails dans vont directement représenter la quantité de détails dans la portion d’image concernée.la portion d’image concernée.

1414FF 11/04/2311/04/23

Les formats de CompressionLes formats de Compression1. 1. La DCT (Discrete Cosinus Transform)La DCT (Discrete Cosinus Transform)

135135 136136 152152 132132 130130 147147 155155 138138

138138 137137 151151 134134 132132 145145 139139 141141

142142 143143 132132 135135 153153 154154 138138 140140

153153 144144 132132 132132 142142 132132 132132 132132

144144 151151 156156 140140 136136 141141 144144 140140

150150 152152 141141 132132 132132 152152 132132 132132

136136 132132 142142 138138 122122 124124 132132 132132

148148 132132 148148 142142 132132 128128 124124 132132

172172 -18-18 1515 -8-8 2323 -9-9 -14-14 1919

3838 -34-34 2525 -9-9 -10-10 1111 1414 1212

2121 99 -6-6 33 -5-5 88 55 -1-1

-10-10 66 -5-5 44 33 -4-4 -2-2 55

-8-8 33 44 55 -3-3 33 -7-7 11

44 -2-2 -2-2 -4-4 66 66 22 -4-4

44 -3-3 -4-4 55 66 55 33 -2-2

00 -8-8 -4-4 33 22 11 44 00

DCT

La quantification est non conservatrice et contrôle le débit. Elle applique des coefficients La quantification est non conservatrice et contrôle le débit. Elle applique des coefficients afin de afin de réduire les écarts de niveaux dans les hautes fréquences où l'œil est moins sensible. Cette réduire les écarts de niveaux dans les hautes fréquences où l'œil est moins sensible. Cette réorganisation s’effectue par ordre croissant, les détails les plus fins étant situés en bas et à réorganisation s’effectue par ordre croissant, les détails les plus fins étant situés en bas et à droite de la matrice, la première valeur en haut à gauche, représentant la valeur moyenne de la droite de la matrice, la première valeur en haut à gauche, représentant la valeur moyenne de la matrice. matrice.

1515FF 11/04/2311/04/23

Les formats de CompressionLes formats de Compression2. 2. LaLa DWT (Discrete Wavelet Transform).DWT (Discrete Wavelet Transform).

Les Ondelettes utilisées pour le Les Ondelettes utilisées pour le JPEG2000 et le Digital JPEG2000 et le Digital CinemaCinema

• Elle utilise une autre logique mathématique, la DWT Elle utilise une autre logique mathématique, la DWT (Discrete Wavelet Transform). L’image d’origine est (Discrete Wavelet Transform). L’image d’origine est décomposée en blocs de taille identique.décomposée en blocs de taille identique.

• Décomposition fréquentielle établissant une séparation Décomposition fréquentielle établissant une séparation entre les fréquences les plus basses, les plus hautes, entre les fréquences les plus basses, les plus hautes, les fonds continus , les détails fins, et les contours qui les fonds continus , les détails fins, et les contours qui sont contenues dans l’image.sont contenues dans l’image.

• La DWT exploite la redondance spatiale et fréquentielle.La DWT exploite la redondance spatiale et fréquentielle.

JPEG 2000Image Size: 4096 x 3112 pixels (fin 2005)Image quality: RGB 4:4:4 / 16 Bit

1616FF 11/04/2311/04/23

Avantage d’une compression Avantage d’une compression « ondelettes»« ondelettes»

• A un taux de compression fixe, la qualité image est A un taux de compression fixe, la qualité image est supérieure aux autres codagessupérieure aux autres codages

• A qualité égale, le résultat présente un débit A qualité égale, le résultat présente un débit inférieur de 50% par rapport à la DCT.inférieur de 50% par rapport à la DCT.

• la durée de la phase de compression et de la durée de la phase de compression et de décompression est identiquedécompression est identique

• la (dé)compression progressive offre à l’utilisateur la (dé)compression progressive offre à l’utilisateur un choix adaptés aux différentes bandes passantes un choix adaptés aux différentes bandes passantes d’un réseau. Exemple: le Streaming pour le VDSL.d’un réseau. Exemple: le Streaming pour le VDSL.

• le codage est plus robuste que les autres aux le codage est plus robuste que les autres aux erreurs de transmissionerreurs de transmission

1717FF 11/04/2311/04/23

RésolutionRésolution d’une image HD en format 16/9 : d’une image HD en format 16/9 :

19201920 pixels pixels

10801080 pixelspixels24p ou 25 p24p ou 25 p

720720 pixelspixels24p 24p

12801280 pixels pixels

HDCAM HDCAM 1080 P ou 1080 Interlacé / 50 Im.1080 P ou 1080 Interlacé / 50 Im.

Varicam 720 P ou 720 I / 50 ImVaricam 720 P ou 720 I / 50 Im..DVCPRO 100DVCPRO 100

HDV 1080 I / 50 Im.ou 720 P HDV 1080 I / 50 Im.ou 720 P 1440 ou 12801440 ou 1280 pixelspixels

Mpeg 2 !!!Mpeg 2 !!!

1080 I ou 7201080 I ou 720 pixelspixels25p 25p

D Cinema 4k DALSA D Cinema 4k DALSA RGB non compressé RGB non compressé 4046 4046 pixelspixels

20482048 pixelspixels

720720 pixels pixelsPALPAL

576576 pixels pixelsPALPAL

SD DVCPRO 50SD DVCPRO 50

1818FF 11/04/2311/04/23

19201920 pixels pixels

10801080 pixelspixels

1080 P :1080 P : 32.400 32.400 Macro Blocs Macro Blocs 720 P :720 P : 14.400 14.400 Macro Blocs Macro Blocs

8x8 pixels8x8 pixels= 1 macro-bloc= 1 macro-bloc

12801280 pixels pixels

720720 pixelspixels

1919FF 11/04/2311/04/23

La La Numérisation HDNumérisation HD Le Codage des sourcesLe Codage des sources

RReprésenter de manière compacte les grandeurs eprésenter de manière compacte les grandeurs quantifiées (compression numérique)quantifiées (compression numérique)

En 1990 le Betacam Numérique l’histoire de la En 1990 le Betacam Numérique l’histoire de la compression numérique commençait !compression numérique commençait !

Objectif de la compression : réduire le débit en Objectif de la compression : réduire le débit en comprimant fortement le poids des images .comprimant fortement le poids des images .

Exploitation de :Exploitation de :• Les redondances spatiales: intra image.Les redondances spatiales: intra image.• Les redondances temporelles: inter imagesLes redondances temporelles: inter images• Les redondances subjectives: vision détailLes redondances subjectives: vision détail• Les redondances statistiques: codages entropiques.Les redondances statistiques: codages entropiques.

But: réduire le débit et conserver autant que possible la But: réduire le débit et conserver autant que possible la qualité des images originales.qualité des images originales.

2020FF 11/04/2311/04/23

Le système de codage Le système de codage MPEG-2MPEG-2

I Intracoded frameI Intracoded frame P Forward/predicted frameP Forward/predicted frame B Bi-directional/interpolated frameB Bi-directional/interpolated frame

II BB BB PP BB BB PP BB BB II

Group of Group of picturespicturesGOP : GOP : 12 - 1612 - 16

DécomposeDécomposeTemporalTemporalPrédictionPrédiction TransformTransform QuantifiéQuantifié

Entropy Entropy codecode

1620 Blocs de 64 pixels Discrete CosineDiscrete CosineTransform (DCT)Transform (DCT)

Fréquence spatialeComplexité du bloc

Débit maximum Bitstream

Longueur des motsInversement proportion.à la fréquence d’apparition

2121FF 11/04/2311/04/23

MPEG 2 choisit par la France pour la MPEG 2 choisit par la France pour la T.N.TT.N.T

MPEG 2 pour le HDTV:MPEG 2 pour le HDTV:

38Mbts par voie hertzienne = 5 x la Télévision Pal38Mbts par voie hertzienne = 5 x la Télévision Pal

Fréquence échantilllonnage Vidéo de 27 Mhz limité à 8 BitsFréquence échantilllonnage Vidéo de 27 Mhz limité à 8 Bits

SMPTE 274 M 1080 x 1920 ou 720 x 1280 p ou I (50 im)SMPTE 274 M 1080 x 1920 ou 720 x 1280 p ou I (50 im)

Audio: dolby AC.3: 48 Khz à 16 bit/s= 384 KbpsAudio: dolby AC.3: 48 Khz à 16 bit/s= 384 Kbps

2222FF 11/04/2311/04/23

Le MPEG 4Le MPEG 4 choisit par la France pour les choisit par la France pour les autres types de diffusion: Satellite, etc.autres types de diffusion: Satellite, etc.

Le MPEG-4 est né pour permettre l’intégration du Le MPEG-4 est né pour permettre l’intégration du multimédia, la sémantique et l’interaction.multimédia, la sémantique et l’interaction.

En plus de son développement pour le Digital Cinema le En plus de son développement pour le Digital Cinema le MPEG-4 propose une réponse à des besoins pour des MPEG-4 propose une réponse à des besoins pour des champs d'applications variés comme des services champs d'applications variés comme des services audiovisuels interactifs à la télésurveillance en bas audiovisuels interactifs à la télésurveillance en bas débit, mais aussi pour répondre au souhait de l’industrie débit, mais aussi pour répondre au souhait de l’industrie audiovisuelle de disposer de chaînes de production audiovisuelle de disposer de chaînes de production virtuelle et cela avec des débits importants plus de 300 virtuelle et cela avec des débits importants plus de 300 Mb/sec.Mb/sec.

Le MPEG 4 couvre un grand champ d’action allant de Le MPEG 4 couvre un grand champ d’action allant de l’application Internet très haut débit avec WINDOWS l’application Internet très haut débit avec WINDOWS MEDIA PLAYER 10 de MICROSOFT aux caméras comme MEDIA PLAYER 10 de MICROSOFT aux caméras comme la Varicam de chez Panasonic ou la XDCam SR de chez la Varicam de chez Panasonic ou la XDCam SR de chez Sony mais aussi dans le segment DVCAM HD. Sony mais aussi dans le segment DVCAM HD.

Elle est, avec le MPEG 7 et MPEG 21, la clé de voûte de Elle est, avec le MPEG 7 et MPEG 21, la clé de voûte de la convergence entre l’informatique, le cinéma, la la convergence entre l’informatique, le cinéma, la télévision et les télécommunications.télévision et les télécommunications.

2323FF 11/04/2311/04/23

LES FORMATS HD EN FONCTION DE LES FORMATS HD EN FONCTION DE LA TAILLE DE L’ECRAN DE LA TAILLE DE L’ECRAN DE

DIFFUSIONDIFFUSION

DALSA 4K 4:4:4 4046 x 2048 1:1 14.000 Ko/i 3 x 1.208Mb/sDALSA 4K 4:4:4 4046 x 2048 1:1 14.000 Ko/i 3 x 1.208Mb/sARRI D20 4:4:4 3018 x 2200 1:1 8.800 Ko/i 1.575 Mb/sARRI D20 4:4:4 3018 x 2200 1:1 8.800 Ko/i 1.575 Mb/s

Destination: Projection en salle 4KDestination: Projection en salle 4K

HDCAM SR 4:4:4 1080 x 1920 2,7:1 4.400 Ko/i 880 Mb/sHDCAM SR 4:4:4 1080 x 1920 2,7:1 4.400 Ko/i 880 Mb/sVIPER 4:4:4 1080 x 1920 1:1 8.800 Ko/iVIPER 4:4:4 1080 x 1920 1:1 8.800 Ko/i 1.500 Mb/s 1.500 Mb/s

Destination: Projection en salle 2K Destination: Projection en salle 2K (Kinepolis Bruxelles Salle13)(Kinepolis Bruxelles Salle13)

HDCAM 4:2:2 1080 x 1920 4,3:1 700 Ko/i 140 Mb/sHDCAM 4:2:2 1080 x 1920 4,3:1 700 Ko/i 140 Mb/sVARICAM 4:2:2 720 x 1280 6,7:1 500 Ko/i 100 Mb/s VARICAM 4:2:2 720 x 1280 6,7:1 500 Ko/i 100 Mb/s HDV 4:2:0 1080 x 1920 60:1 125 Ko/i 25 Mb/sHDV 4:2:0 1080 x 1920 60:1 125 Ko/i 25 Mb/s

Destination: Ecran Plasma Home CinémaDestination: Ecran Plasma Home Cinéma

2424FF 11/04/2311/04/23

Le système de codage Le système de codage MPEG-MPEG-44

I Intracoded frameI Intracoded frame P Forward/predicted frameP Forward/predicted frame B Bi-directional/interpolated frameB Bi-directional/interpolated frame

II BB BB PP BB BB PP BB BB II

GOP :GOP : variablevariable

(Shoot, (Shoot, plans)plans)

DecomposeDecompose TemporalTemporalPredictionPrediction

TransformTransform QuantizeQuantize Entropy Entropy codecode

Discrete CosineDiscrete CosineTransform (DCT)Transform (DCT)

1080 P 32.400 BLOCS1080 P 32.400 BLOCS 720 P 14.400 BLOCS720 P 14.400 BLOCS

2525FF 11/04/2311/04/23

MPEG 4 : qualitativement très performante

Les flux MPEG 4

• La compression MPEG 4 est qualitativement très performante !• Si on compare la qualité des images d'un match de tennis encodé en

MPEG 4 AVC et MPEG 2 sur des machines comparables à 25 i/s, l'indice PSN est déjà au maximum pour un débit de 1500Kbps alors que pour la même qualité MPEG 2 nécessite un débit de 3000 Kbps *!

2626FF 11/04/2311/04/23

Les représentations objet de la norme Les représentations objet de la norme MPEG-4MPEG-4

VoixVoix

OrdinateurOrdinateur

2D décor2D décor

MobilierMobilier

PrésentationPrésentation

PrésentateurPrésentateur

2727FF 11/04/2311/04/23

Système MPEG-4:Système MPEG-4:composition de la scènecomposition de la scène

PersonnesPersonnes 2D décor2D décor MobilierMobilier PrésentationPrésentation

FemmeFemme

Homme assisHomme assis

PrésentateurPrésentateur

VoixVoix

OrdinateurOrdinateur

ChaiseChaiseBureauBureau DessinsDessins

ScèneScène

2828FF 11/04/2311/04/23

MPEG 4: Boite à outils générique

L'encodage MPEG4 exploite une "boite à outils" générique pour segmenter automatiquement et figurer une vidéo dynamique tout en localisant et en caractérisant les objets de manière compacte et individualisée. Facile à manipuler !Toute manipulation engendre un flux d’informations variables dont les paquets sont hiérarchiquement emboîtés.On a une localisation spatiale et temporelle.

MPEGMPEG 44Encodage numérique descriptif d'objets audiovisuels, Encodage numérique descriptif d'objets audiovisuels,

des rapports entre ces objets et un contextedes rapports entre ces objets et un contexte : :

Exemple de segmentation d'une scène Exemple de segmentation d'une scène mobile par un encodeur MPEG4: mobile par un encodeur MPEG4: reconnaissance des personnages en reconnaissance des personnages en mouvement relatif.mouvement relatif.

2929FF 11/04/2311/04/23

MPEG 4 : maillage de chaque objet

L'acquisition exploite un système de maillage automatique produit par l'encodeur lequel découpe et structure les images 2D et 3DLa modélisation se fait par la projection d'un maillage 3D composé de polygones dont la finesse est déterminée par la structure du maillage et par une liste plus ou moins importante de nœuds (déterminé à l'acquisition en fonction du flux MPEG4 souhaité en final)

A gauche maillage automatique et à droite l'image "reconstruite" avec 3200 nœuds (c'est trop peu!). Dans ce cas 95% des échantillons ont été éliminés..

Acquisition MPEG 4

3030FF 11/04/2311/04/23

• Pour chaque objet vidéo et pour chaque séquence l'encodeur crée des répertoires hiérarchiques qui comprennent des couches d'informations successives pour décrire les objets (topologie, mouvement, formes, couleurs, textures, sons associés)

• La localisation est spatiale et temporelle selon une grille auto produite. Le maillage s'anime dans l'espace et le temps. La topologie est évolutive selon des cartes de segmentation qui prennent en compte diverses caractéristiques spatio-temporelles des mouvements

• Une autre caractéristique est la scalabilité = structuration multi échelle du travail d'analyse et de découpage :

• Scalabilité des objets eux-mêmes• Scalabilité spatiale• Scalabilité temporelle• Scalabilité de la représentation• Scalabilité de la distribution (en termes de flux vers l'usager)

Objets répertoriés, localisés, temporisés, à échelle variable

MPEG 4 : cartes de segmentation

3131FF 11/04/2311/04/23

• Les flux sont variables, progressifs et hiérarchiquement emboités.

• Les flux entrants dans les décodeurs usagers sont lus en fonction des caractéristiques des décodeurs - le consommateur pouvant intervenir sur des ingrédients de la composition séquentielle - c'est la qualité à la demande qui permet d'utiliser MPEG 4 sur des réseaux diversifiés à capacité ≠ entre 1Mbps (xDSL) et 1000 Mbps (HD)

Les flux MPEG 4 :

Les versions successives MPEG 4 sont "survit aminées" l'une par rapport à l'autre.

L' "intelligence" des dernières versions s'est déployée dans plusieurs dimensions…

.

MPEG 4 : qualité à la demande

3232FF 11/04/2311/04/23

MPEG 4 : exemple d’un traitement

• L'encodeur isole le fond et recrée un pano du fond de scène complet (estimation et compensation de mouvement par blocs de 8 ou 16 pixels)

• L'encodeur extrait le personnage en mouvement• Le fond est encodé une fois, seules les variations formelles y sont ré-encodées

en fonction des besoins. • L'encodeur incruste le joueur en mouvement tenant compte des zones

masquées. Les zones non reconnues sont représentés par de la DCT• Le décodeur recrée la scène grâce aux paramètres de la caméra pour le fond et

au joueur envoyé dans sa position à chaque image

Exemple Exemple

d'un d'un

traitement traitement

MPEGMPEG 44 : :

segmentation segmentation

et fusion et fusion

d'ingrédientsd'ingrédients

3333FF 11/04/2311/04/23

MPEG 4 : répertoires hiérarchiques

• Le traitement MPEG 4

"détoure", "reconnaît" et

répertorie automatiquement

les Objets Vidéo-Son (OV)

ainsi que leurs relations

synchrones (Image/son).

• Chaque "feuille"

représente un élément

simple.

• Les relations (mouvement

relatif…)entre les OV sont

décrites

Structure hiérarchique de graphe acyliqueStructure hiérarchique de graphe acylique

3434FF 11/04/2311/04/23

Le MPEG 4 : en développement constant

• Amélioration du codage des visuels "naturels"• Animation des corps• Codage en maillage des objets 3D• Améliorations audio• Améliorations systèmes• BIFS avancé* (Binary Format for Scene Description)

• Définition d'un format de ficher M4F• Améliorations protocolaires

MPEGMPEG 4 est une norme "en mouvement" régulièrement 4 est une norme "en mouvement" régulièrement améliorée, certains développements pouvant être améliorée, certains développements pouvant être adressés aux décodeurs des usagers par les diadressés aux décodeurs des usagers par les diffuseursffuseurs..

*Binary Format for Scene Description (descripteur de la synchronisation dynamique des objets dans une scène encodée/décodée)

3535FF 11/04/2311/04/23

Nouveaux concepts: les métadonnéesNouveaux concepts: les métadonnées

Donnée: Informations autres que l’image et le son: Donnée: Informations autres que l’image et le son: time code, numéro de scène, etc.time code, numéro de scène, etc.

Les essences: images et sons numérisés.Les essences: images et sons numérisés. Les métadonnées: interactions entre ces éléments. Les métadonnées: interactions entre ces éléments. Le média intégré qui en résulte.Le média intégré qui en résulte. Les liens interactifs qui pointent vers des données ou Les liens interactifs qui pointent vers des données ou

des essences sont établis par les métadonnées.des essences sont établis par les métadonnées.

1. Le MPEG 4 et le MPEG 7

2. Le XML

3. L’ AAF et le MXF

3636FF 11/04/2311/04/23

MPEG 4: Base pour l’ndextationMPEG 4: Base pour l’ndextation

Le MPEG 4 permet l’encodage descriptif d’objet visuelLe MPEG 4 permet l’encodage descriptif d’objet visuel Contrairement au MPEG 2, le MPEG 4 permet lors de Contrairement au MPEG 2, le MPEG 4 permet lors de

la numérisation une indexation semi-automatique des la numérisation une indexation semi-automatique des flux de données flux de données

L’objectif est de localiser, de caractériser et d’indexer L’objectif est de localiser, de caractériser et d’indexer ces objets de manière compacte et individualisée, les ces objets de manière compacte et individualisée, les fiches devant être faciles à manipuler, toutes ces fiches devant être faciles à manipuler, toutes ces opérations engendrant un flux d’informations variable opérations engendrant un flux d’informations variable dont les « paquets » sont hiérarchiquement emboîtés, dont les « paquets » sont hiérarchiquement emboîtés, dans un fichier synchronisé au fichier de base par un dans un fichier synchronisé au fichier de base par un outil de type SMIL 2.0 (Synchronised Multimédia outil de type SMIL 2.0 (Synchronised Multimédia Interactive Language). Interactive Language).

3737FF 11/04/2311/04/23

ExtractionExtractiond’objetsd’objets

Relations entre les différentes normes Relations entre les différentes normes MPEG 1, 2, 4, et 7MPEG 1, 2, 4, et 7

MPEG-7MPEG-7

MPEG-4MPEG-4

MPEG-1MPEG-1MPEG-2MPEG-2

VoixVoixOrdinateurOrdinateur

FemmeFemmeHomme assis ...Homme assis ...

TélévisionTélévisiongéométriquegéométrique basée surbasée sur

le pixelle pixel

3838FF 11/04/2311/04/23

ExtractionExtractiond’objetsd’objets

Relations entre les différentes normes Relations entre les différentes normes MPEG 2, 4 et 7MPEG 2, 4 et 7

Du pixel à l’objet avec un codage sémantique :Du pixel à l’objet avec un codage sémantique :

MPEG-7 « Multimedia MPEG-7 « Multimedia Content DescriptrionContent DescriptrionInterface”Interface”

MPEG-4MPEG-4

MPEG-2MPEG-2

SémantiqueSémantique

ReprésentationReprésentationorientée objetorientée objet

ReprésentationReprésentationorientée pixelorientée pixel

FormationFormationTraçageTraçage

des objetsdes objets

3939FF 11/04/2311/04/23

Le XML eXchange Markup Le XML eXchange Markup LanguageLanguage

Du SGML (Standard General Markup Language) créé en Du SGML (Standard General Markup Language) créé en 1980 est issu un peu plus tard le HTML (1980 est issu un peu plus tard le HTML (Hyper Text Markup Language)Hyper Text Markup Language)

• Exemple de balise HTML:Exemple de balise HTML:• <Body><h1>Lemy</h1><br><h2>Patrick</h2></Body><Body><h1>Lemy</h1><br><h2>Patrick</h2></Body>

Le XML modifie la balise en ajoutant la sémantique.Le XML modifie la balise en ajoutant la sémantique.• Exemple de balise XML: Exemple de balise XML:

<Body><Nom>Lemy</Nom><Prénom>Patrick</Prénom></Body><Body><Nom>Lemy</Nom><Prénom>Patrick</Prénom></Body>

Grâce au XSD il offre une grande souplesse et une Grâce au XSD il offre une grande souplesse et une adaptabilité sur les serveurs ou Workflow.adaptabilité sur les serveurs ou Workflow.

4040FF 11/04/2311/04/23

Ecran de travail en quatre zones : Rush image et son, imagettes plans, liste scène, données et méta données par plans :

Audio - Video

ImagettesThubnails

Liste des Scènes

Time Code InTime Code OutPlan 1/ Shot 1Time Code In

Time Code OutPlan 2/ Shot 2Time Code In

Time Code OutPlan 3/ Shot 3Time Code In

Time Code Out……………