La compression dimages animées Sébastien CRESPIN TER Réseaux – DESS TNI Université Montpellier...

La compression d’images La compression d’images animéesanimées

Sébastien CRESPINSébastien CRESPIN

TER Réseaux – DESS TNITER Réseaux – DESS TNI

Université Montpellier IIUniversité Montpellier II

5 décembre 20015 décembre 2001

Plan de l’exposéPlan de l’exposé

1. Principes de base1. Principes de baseLa vidéo – La compression vidéo – Les données vidéoLa vidéo – La compression vidéo – Les données vidéo

2. La compression MPEG2. La compression MPEGLe codage spatial – Le codage prédictif – La compensation Le codage spatial – Le codage prédictif – La compensation de mouvement – Le codage bidirectionnel – La partie de mouvement – Le codage bidirectionnel – La partie systèmesystème

3. Normes et produits3. Normes et produitsMPEG-1 – MPEG-2 – MPEG-4 – MPEG-7 – MPEG-21 – MPEG-1 – MPEG-2 – MPEG-4 – MPEG-7 – MPEG-21 – Formats propriétairesFormats propriétaires

1. Principes de base1. Principes de base

1.1. La vidéo1.1. La vidéo

• L’œil humain retient pendant un certain temps L’œil humain retient pendant un certain temps toute image imprimée sur la rétine.toute image imprimée sur la rétine.

• PrincipePrincipe : faire défiler un nombre suffisant : faire défiler un nombre suffisant d’images fixes par seconde, pour donner l’illusion d’images fixes par seconde, pour donner l’illusion de mouvement.de mouvement.

En fait, au moins 25 images/sec.En fait, au moins 25 images/sec.

1. Principes de base1. Principes de base

1.1. La vidéo1.1. La vidéo

Deux grandes familles de systèmes vidéo :Deux grandes familles de systèmes vidéo :

- Systèmes vidéo analogiquesSystèmes vidéo analogiques

- Systèmes vidéo numériquesSystèmes vidéo numériques

1. Principes de base1. Principes de base

1.1. La vidéo1.1. La vidéo

Les systèmes analogiques : principe de balayageLes systèmes analogiques : principe de balayage

PAL/SECAM : 625 lignes, 25 trames/secPAL/SECAM : 625 lignes, 25 trames/sec

NTSC : 525 lignes, 30 trames/secNTSC : 525 lignes, 30 trames/sec

1. Principes de base1. Principes de base

1.1. La vidéo1.1. La vidéo

• Les systèmes numériques : chaque trame est une Les systèmes numériques : chaque trame est une matrice rectangulaire de pixelsmatrice rectangulaire de pixels

• N&B : 8 bits par pixel, c.à.d. 256 niveaux de grisN&B : 8 bits par pixel, c.à.d. 256 niveaux de gris

• Couleur : 24 bits par pixel, c.à.d. 16,8 millions de Couleur : 24 bits par pixel, c.à.d. 16,8 millions de couleurscouleurs

1. Principes de base1. Principes de base

1.2. La compression vidéo1.2. La compression vidéo

• Petit calcul simplePetit calcul simple : débit nécessaire pour un : débit nécessaire pour un affichage vidéo numérique couleur en 1024 x 768 :affichage vidéo numérique couleur en 1024 x 768 :

Taille d’une image : 1024 x 768 x 24 = 2,25 MoTaille d’une image : 1024 x 768 x 24 = 2,25 Mo

Débit nécessaire : 2,25 x 25 = 56,25 Mo/secDébit nécessaire : 2,25 x 25 = 56,25 Mo/sec

Taille d’un film de 2 h : 56,25 x 7200 = 395,5 GoTaille d’un film de 2 h : 56,25 x 7200 = 395,5 Go

• La compression est obligatoire !La compression est obligatoire !

1. Principes de base1. Principes de base

1.2. La compression vidéo1.2. La compression vidéo

• ButBut : réduire les redondances d’informations, tout : réduire les redondances d’informations, tout en gardant une certaine qualité.en gardant une certaine qualité.

• Compression avec pertesCompression avec pertes : on accepte des : on accepte des pertes d’informations pas toujours visibles à l’œil.pertes d’informations pas toujours visibles à l’œil.

• DifficultéDifficulté : le taux de compression s’améliore, en : le taux de compression s’améliore, en même temps que la qualité devient médiocre.même temps que la qualité devient médiocre.

1. Principes de base1. Principes de base

1.2. La compression vidéo1.2. La compression vidéo

Deux sortes de redondances en vidéo :Deux sortes de redondances en vidéo :

• La La redondance spatialeredondance spatiale : redondance dans : redondance dans chaque image prise individuellement.chaque image prise individuellement.

Codage en JPEG de chaque image : on parle alors Codage en JPEG de chaque image : on parle alors de MJPEG (Motion JPEG).de MJPEG (Motion JPEG).

1. Principes de base1. Principes de base

1.2. La compression vidéo1.2. La compression vidéo

• La La redondance temporelleredondance temporelle : deux images qui se : deux images qui se suivent sont quasiment identiques.suivent sont quasiment identiques.

L’idée : coder uniquement ce qui est modifié lors L’idée : coder uniquement ce qui est modifié lors du passage d’une image à l’autre.du passage d’une image à l’autre.

On utilise la technique de On utilise la technique de compensation de compensation de mouvementmouvement..

1. Principes de base1. Principes de base

1.2. La compression vidéo1.2. La compression vidéo

La redondance spatiale et la redondance temporelleLa redondance spatiale et la redondance temporelle

1. Principes de base1. Principes de base

1.3. Les données vidéo1.3. Les données vidéo

Hiérarchie des données dans le flux vidéoHiérarchie des données dans le flux vidéo

2. La compression MPEG2. La compression MPEG

• MPEGMPEG : : Moving Picture Experts GroupMoving Picture Experts Group

(on trouve aussi (on trouve aussi Motion Picture Experts GroupMotion Picture Experts Group))

• Comité fondé en 1988 dans le but de créer une Comité fondé en 1988 dans le but de créer une norme pour stocker de la vidéo sur CD-ROMnorme pour stocker de la vidéo sur CD-ROM

• Dans cette partie : décrire et expliquer le principe Dans cette partie : décrire et expliquer le principe de compression vidéo commun aux différentes de compression vidéo commun aux différentes normes MPEGnormes MPEG

2. La compression MPEG2. La compression MPEG

2.1. Le codage spatial2.1. Le codage spatial

• Les Les images Iimages I (intracodées) : images complètes (intracodées) : images complètes codées en JPEG.codées en JPEG.

• Typiquement, on code une image I toutes les 10 à Typiquement, on code une image I toutes les 10 à 15 images.15 images.

• Les images I sont indispensables.Les images I sont indispensables.

2. La compression MPEG2. La compression MPEG

2.2. Le codage prédictif2.2. Le codage prédictif

• Les Les images Pimages P (prédictives) : images codées par (prédictives) : images codées par rapport à l’image précédente.rapport à l’image précédente.

La différence entre les deux images est codée spatialementLa différence entre les deux images est codée spatialement

2. La compression MPEG2. La compression MPEG

2.2. Le codage prédictif2.2. Le codage prédictif

• Utilité des images P : exempleUtilité des images P : exemple

• On utilise la technique de On utilise la technique de compensation de compensation de mouvementmouvement

2. La compression MPEG2. La compression MPEG

2.2. Le codage prédictif2.2. Le codage prédictif

• Exemple de séquence MPEG basiqueExemple de séquence MPEG basique

• Problèmes de gestion de pertes et d’erreursProblèmes de gestion de pertes et d’erreurs

2. La compression MPEG2. La compression MPEG

2.3. La compensation de mouvement2.3. La compensation de mouvement

• PrincipePrincipe : pour chaque macrobloc de l’image, on : pour chaque macrobloc de l’image, on recherche dans l’image précédente un macrobloc recherche dans l’image précédente un macrobloc identique ou semblable.identique ou semblable.

On calcule ensuite la différence entre les deux On calcule ensuite la différence entre les deux macroblocs, et on code cette différence macroblocs, et on code cette différence spatialement.spatialement.

2. La compression MPEG2. La compression MPEG

2.3. La compensation de mouvement2.3. La compensation de mouvement

Le fichier ainsi compressé contient :Le fichier ainsi compressé contient :

• Un Un vecteur de déplacementvecteur de déplacement entre le macrobloc entre le macrobloc de référence et le macrobloc qui va être codéde référence et le macrobloc qui va être codé

• Le Le terme d’erreursterme d’erreurs : la différence entre le contenu : la différence entre le contenu du macrobloc de référence et le macrobloc qui va du macrobloc de référence et le macrobloc qui va être codéêtre codé

2. La compression MPEG2. La compression MPEG

2.3. La compensation de mouvement2.3. La compensation de mouvement

• Calcul des vecteurs de déplacements : la norme ne Calcul des vecteurs de déplacements : la norme ne dit rien, implémentation laissée libre.dit rien, implémentation laissée libre.

Méthode la plus courante : Méthode la plus courante : similitude de blocssimilitude de blocs..

2. La compression MPEG2. La compression MPEG

2.3. La compensation de mouvement2.3. La compensation de mouvement

2. La compression MPEG2. La compression MPEG

2.4. Le codage bidirectionnel2.4. Le codage bidirectionnel

2. La compression MPEG2. La compression MPEG

2.4. Le codage bidirectionnel2.4. Le codage bidirectionnel

• Les Les images Bimages B (bidirectionnelles) : semblables aux (bidirectionnelles) : semblables aux images P, avec le macrobloc de référence qui peut images P, avec le macrobloc de référence qui peut être soit dans l’image précédente soit dans l’image être soit dans l’image précédente soit dans l’image suivante.suivante.

Les images B peuvent se référer soit à une image I Les images B peuvent se référer soit à une image I soit à une image P, mais pas à une autre image B.soit à une image P, mais pas à une autre image B.

2. La compression MPEG2. La compression MPEG

2.4. Le codage bidirectionnel2.4. Le codage bidirectionnel

2. La compression MPEG2. La compression MPEG

2.4. Le codage bidirectionnel2.4. Le codage bidirectionnel

A cause des images B, on est obligé de changer l’ordre des A cause des images B, on est obligé de changer l’ordre des images dans le flux vidéoimages dans le flux vidéo

2. La compression MPEG2. La compression MPEG

2.5. La partie système2.5. La partie système

• Deux flux à synchroniser : la vidéo et le son.Deux flux à synchroniser : la vidéo et le son.

• Utilisation de deux paramètres inclus dans les Utilisation de deux paramètres inclus dans les paquets de données codées :paquets de données codées :– L’horloge de référence du systèmeL’horloge de référence du système– Le marquage temporelLe marquage temporel

2. La compression MPEG2. La compression MPEG

2.5. La partie système2.5. La partie système

3. Normes et produits3. Normes et produits

3.1. MPEG-13.1. MPEG-1

• Norme ISO/IEC 11172, finalisée en 1992.Norme ISO/IEC 11172, finalisée en 1992.

• ButBut : : stocker et reproduire de la vidéo avec le son stocker et reproduire de la vidéo avec le son associé sur des supports de stockage, en qualité associé sur des supports de stockage, en qualité magnétoscope (352 x 288), avec un débit magnétoscope (352 x 288), avec un débit maximum de 1,5 Mbits/sec.maximum de 1,5 Mbits/sec.

3. Normes et produits3. Normes et produits

3.1. MPEG-13.1. MPEG-1

• PrincipePrincipe : cf. partie 2 : cf. partie 2

• Restrictions techniques :Restrictions techniques :– Maximum 30 trames/secMaximum 30 trames/sec– Mode progressif uniquementMode progressif uniquement– Format de couleur 4:2:0Format de couleur 4:2:0

• Aujourd’hui, MPEG-1 est la norme de stockage des Aujourd’hui, MPEG-1 est la norme de stockage des vidéos vidéos sur CD-ROM au format CD-I ou CD-vidéo.sur CD-ROM au format CD-I ou CD-vidéo.

3. Normes et produits3. Normes et produits

3.2. MPEG-23.2. MPEG-2

• Norme ISO/IEC 13818, finalisée en 1996.Norme ISO/IEC 13818, finalisée en 1996.

• ButBut : : compression de la vidéo de qualité télévision compression de la vidéo de qualité télévision à un débit de 4 à 6 Mbits/sec, et compression de la à un débit de 4 à 6 Mbits/sec, et compression de la télévision à haute définition (TVHD).télévision à haute définition (TVHD).

3. Normes et produits3. Normes et produits

3.2. MPEG-23.2. MPEG-2

• PrincipePrincipe : identique au MPEG-1. : identique au MPEG-1.

• Différences techniques avec MPEG-1 :Différences techniques avec MPEG-1 :– Mode entrelacé autoriséMode entrelacé autorisé– Maximum 60 trames/sec (ou 120 champs/sec)Maximum 60 trames/sec (ou 120 champs/sec)– Formats de couleur 4:2:2 autoriséFormats de couleur 4:2:2 autorisé– Résolutions : de 352 x 288 à 1920 x 1152Résolutions : de 352 x 288 à 1920 x 1152– Débits : de 4 Mbits/sec à 100 Mbits/secDébits : de 4 Mbits/sec à 100 Mbits/sec– MultiplexageMultiplexage

3. Normes et produits3. Normes et produits

3.2. MPEG-23.2. MPEG-2

• Aujourd’hui, MPEG-2 est la norme de compression Aujourd’hui, MPEG-2 est la norme de compression pour la TVHD et pour le stockage des films sur pour la TVHD et pour le stockage des films sur DVD.DVD.

• Produits :Produits :– SharewaresSharewares aux alentours de 30 euros aux alentours de 30 euros– Logiciels professionnels de 100 à 600 eurosLogiciels professionnels de 100 à 600 euros– Codecs gratuits de laboratoires universitairesCodecs gratuits de laboratoires universitaires

3. Normes et produits3. Normes et produits

3.3. MPEG-43.3. MPEG-4

• Norme ISO/IEC 14496, finalisée en v.2 en 1999.Norme ISO/IEC 14496, finalisée en v.2 en 1999.

• ButBut : fusionner trois mondes (informatique, : fusionner trois mondes (informatique, télécommunications et télévision). Standardisation télécommunications et télévision). Standardisation multimédia à tous les nouveaux : multimédia à tous les nouveaux : production, production, distribution et diffusion.distribution et diffusion.

• Domaines d’application : visiophonie, multimédia Domaines d’application : visiophonie, multimédia mobile, téléconférence, post-production, etc.mobile, téléconférence, post-production, etc.

3. Normes et produits3. Normes et produits

3.3. MPEG-43.3. MPEG-4

• PrincipePrincipe : méthode orientée objets. : méthode orientée objets.

Une scène devient une composition d'objets Une scène devient une composition d'objets médias hiérarchisés, chaque objet étant médias hiérarchisés, chaque objet étant décomposé en différents paramètres.décomposé en différents paramètres.

3. Normes et produits3. Normes et produits

3.3. MPEG-43.3. MPEG-4

• Utilisation du langage XMT (Utilisation du langage XMT (eXtensible MPEG-4 eXtensible MPEG-4 Textual formatTextual format), pour décrire les relations spatiales ), pour décrire les relations spatiales et temporelles entre les objets vidéo.et temporelles entre les objets vidéo.

• Les objets sont des VOP (Les objets sont des VOP (Video Object PlanVideo Object Plan).).

Similitude avec le MPEG-1 et 2 : on a des I-VOP, Similitude avec le MPEG-1 et 2 : on a des I-VOP, P-VOP et B-VOP, et le principe de compensation P-VOP et B-VOP, et le principe de compensation de mouvement.de mouvement.

3. Normes et produits3. Normes et produits

3.3. MPEG-43.3. MPEG-4

• Aujourd’hui, MPEG-4 est utilisé dans son profil bas Aujourd’hui, MPEG-4 est utilisé dans son profil bas (10 trames/sec, débit maximum de 64 Kbits/sec), (10 trames/sec, débit maximum de 64 Kbits/sec), pour la visioconférence et le multimédia mobile.pour la visioconférence et le multimédia mobile.

Stockage des films sur CD grâce au codec DivX;-)Stockage des films sur CD grâce au codec DivX;-)

3. Normes et produits3. Normes et produits

3.4. MPEG-73.4. MPEG-7

• Norme Norme ISO/IEC 15938, en élaboration depuis 1997ISO/IEC 15938, en élaboration depuis 1997

• ButBut : simplifier et optimiser la recherche de fichiers : simplifier et optimiser la recherche de fichiers multimédia.multimédia.

3. Normes et produits3. Normes et produits

3.4. MPEG-73.4. MPEG-7

• PrincipePrincipe : : spécifier une description standard des spécifier une description standard des différents types d'informations multimédia.différents types d'informations multimédia.

Cette description devra être associée au contenu Cette description devra être associée au contenu lui-même pour permettre la recherche rapide et lui-même pour permettre la recherche rapide et efficace des informations qui intéressent efficace des informations qui intéressent l'utilisateur.l'utilisateur.

3. Normes et produits3. Normes et produits

3.4. MPEG-73.4. MPEG-7

• Description en plusieurs niveaux :Description en plusieurs niveaux :– Forme, couleur, texture, mélodie, etc.Forme, couleur, texture, mélodie, etc.– Auteur, date de création, genre, etc.Auteur, date de création, genre, etc.– Agencement des objets dans la séquenceAgencement des objets dans la séquence– Taille, durée, méthodes de codage, etc.Taille, durée, méthodes de codage, etc.

• Domaines d’application : bases de données Domaines d’application : bases de données multimédia, télévision et cinéma, e-commerce, multimédia, télévision et cinéma, e-commerce, journalisme, services culturels et éducatifs, etc.journalisme, services culturels et éducatifs, etc.

3. Normes et produits3. Normes et produits

3.5. MPEG-213.5. MPEG-21

• Norme ISO/IEC Norme ISO/IEC 18034, en élaboration depuis 200018034, en élaboration depuis 2000

• Ajout d’une couche sécurité (déclaration, Ajout d’une couche sécurité (déclaration, identification, protection) lors des échanges de identification, protection) lors des échanges de matériaux audiovisuelsmatériaux audiovisuels

• Optimisation des interactions possibles entre les Optimisation des interactions possibles entre les objets audiovisuels, et entre les utilisateurs et ces objets audiovisuels, et entre les utilisateurs et ces mêmes objetsmêmes objets

3. Normes et produits3. Normes et produits

3.6. Formats propriétaires3.6. Formats propriétaires

• QuickTimeQuickTime : lancé par Apple en 1991. : lancé par Apple en 1991.

• IndeoIndeo : lancé par Intel. Il est maintenant à la base : lancé par Intel. Il est maintenant à la base de nombreux formats vidéo dont QuickTime et AVI.de nombreux formats vidéo dont QuickTime et AVI.

• Codec DivX;-)Codec DivX;-) : piratage et amélioration du codec : piratage et amélioration du codec MPEG-4 de Microsoft.MPEG-4 de Microsoft.

• CinepakCinepak, , Microsoft Video CodecsMicrosoft Video Codecs, , RealReal, etc., etc.

RéférencesRéférences

LivresLivres• MPEG-2, John Watkinson, Focal Press, 1999MPEG-2, John Watkinson, Focal Press, 1999• Réseaux, Andrew Tanenbaum, Dunod, 1996Réseaux, Andrew Tanenbaum, Dunod, 1996

Sites webSites web• MPEG.orgMPEG.org• MPEG home pageMPEG home page• FAQ MPEGFAQ MPEG• Travaux universitaires diversTravaux universitaires divers

En guise de conclusionEn guise de conclusion

La preuve par l’exempleLa preuve par l’exemple

• Séquence vidéoSéquence vidéo– Nombre total d’images : 750Nombre total d’images : 750– Durée totale : 30 secDurée totale : 30 sec– Nombre d’images/sec : 25Nombre d’images/sec : 25– Résolution : 352 x 288Résolution : 352 x 288

• Taille originale : 222,5 MoTaille originale : 222,5 Mo– Vidéo : 352 x 288 x 24 x 750 = 217,5 MoVidéo : 352 x 288 x 24 x 750 = 217,5 Mo– Son (à 172 Ko/sec) : 172 x 30 = 5,0 MoSon (à 172 Ko/sec) : 172 x 30 = 5,0 Mo

En guise de conclusionEn guise de conclusion

La preuve par l’exempleLa preuve par l’exemple

• Compression en MPEG-1 : 2,1 MoCompression en MPEG-1 : 2,1 Mo

• Taux de compression : 106:1Taux de compression : 106:1

• Débits nécessaires :Débits nécessaires :– Sans compression : 7,42 Mo/secSans compression : 7,42 Mo/sec– Avec compression MPEG-1 : 72 Ko/secAvec compression MPEG-1 : 72 Ko/sec