Codage par descriptions multiples pour la transmission videoChristophe TILLIER1, Teodora PETRISOR1, Beatrice PESQUET-POPESCU1, Jean-Christophe PESQUET2

1ENST, Departement du Traitement du Signal et des Images46, rue Barrault, 75634 Paris Cedex 13, FRANCE

2IGM et UMR-CNRS 8049, Universite de Marne-la-Vallee,5, Bd Descartes, Champs sur Marne, 77454 Marne la Vallee Cedex 2, FRANCE

{tillier,petrisor,pesquet}@tsi.enst.fr, pesquet@univ-mlv.fr

Resume Dans cet article, nous nous interessons a` lutilisation du codage par descriptions multiples pour la transmission de sequences videoscalables obtenues avec un codeur ondelettes t+ 2D. Ces techniques sont utiles pour des reseaux commutes, a` perte de paquets. Contrairementaux approches existantes, la redondance nest pas introduite dans le domaine spatial mais dans le domaine temporel, grace a` des bancs de filtresdyadiques sur-echantillonnes, compenses en mouvement. Nous fournissons ici un cadre de travail pour construire et etudier des schemas decodage par descriptions multiples temporels, bases sur des decompositions en ondelettes redondantes avec un facteur de redondance reduit, etnous validons cette approche par une application au codage video.

Abstract In this paper, we address the problem of multiple description coding for the transmission over best-effort networks of scalable videosequences obtained with a t + 2D wavelet codec. Unlike previous approaches, which consider redundancy insertion in the spatial domain, inthis paper we introduce redundancy in the temporal domain of the video sequence, using motion compensated oversampled dyadic filter banks.We are giving here the framework for building such temporal multiple description schemes based on redundant wavelet decompositions with areduced redundancy feature. The general approach is applied to video coding.

1 IntroductionEn codage video scalable, un interet croissant sest mani-

feste, au cours de ces dernie`res annees, pour des structurescompensees en mouvement utilisant la decomposition de Haarou des bancs de filtres biorthogonaux 5/3 operant temporel-lement [1], [2]. Dans les applications de communication, lesrepresentations scalables sont utiles pour ladaptation du fluxbinaire aux variations de bande passante ou aux caracteristiquesdu recepteur, mais dans le cas de transmission sur des reseaux best effort , une difficulte nouvelle dans la reconstruction estdue aux pertes de paquets.

Le codage par descriptions multiples (MDC) [3], qui est etroi-tement lie au codage conjoint source-canal, permet de repondrea` ce besoin en introduisant de la redondance au niveau de lasource pour gerer les pertes de paquets. Cette technique visea` construire des descriptions correlees qui sont transmises surdes canaux independants tout-ou-rien. Dans le cas dechecs detransmission sur certains canaux, des decodeurs dits lateraux doivent etre capables de reconstruire la source avec une qualiteacceptable. En revanche, la reception de toutes les descriptionsdoit permettre une reconstruction de qualite superieure, qui estobtenue en sortie du decodeur dit central .

Dans ce travail, nous explorons des schemas de descriptionsmultiples bases sur une decomposition temporelle en ondelettesredondantes operant dans un codeur t+2D. Notons que la plu-part des travaux precedents effectuait la construction des des-criptions multiples dune video a` laide de plusieurs bouclesde prediction temporelle dans un schema de codage hybride,[4], [5]. Pour les codeurs hybrides un etat de lart recent destechniques de MDC en video est presente dans [6].

Il existe aussi des schemas MDC qui emploient des co-

deurs en ondelettes 3D. Neanmoins, contrairement a` dautresapproches, ou` le banc de filtres en ondelettes etait appliqueindependamment dans le domaine spatial pour chaque image[7], [8], ou sur les trames resultant dune decomposition t+2D[9], notre approche concerne lutilisation de bancs de filtressur-echantillonnes dans la decomposition temporelle. Des tra-vaux precedents [10], [11] ont introduit de la redondance tem-porelle dans un banc de filtres 3-bandes. Ici nous proposonsplusieurs possibilites de construction des descriptions correleesa` partir dun banc de filtres dyadique sur-echantillonne, ap-plique dans la direction temporelle dune sequence videotraitee avec un codeur t + 2D. Les proprietes de tels banc defiltres agissant comme des codeurs de canal sur des canaux a`effacements ont recemment ete explorees dans [12], [13], [14].

Nous nous differencions de ces methodes en imposant uneparticularite supplementaire a` nos schemas, qui est un fac-teur de redondance reduit. Nous obtenons cette propriete eneffectuant un sous-echantillonnage dun facteur 2 des tramesde details temporels apre`s la decomposition de base. Cela estequivalent a` dire que nos schemas ont une redondance (ennombre de coefficients dondelettes) egale a` la taille dunesous-bande dapproximation temporelle. Pourtant, dans ce casla reconstruction parfaite netant plus garantie, nous sommesamenes a` etudier linversibilite du decodeur central. De plus,ceci permet aussi danalyser les effets du bruit de quantifica-tion sur la reconstruction.

Dans le paragraphe suivant, nous presentons le banc de filtresconsidere ainsi que les schemas MDC proposes. Dans le para-graphe 3 nous considererons lapplication de ces schemas aucodage video, puis nous fournissons des resultats de simula-tion dans le paragraphe 4. Enfin, nous concluons dans le para-

graphe 5.

2 Representations par bancs de filtresredondants

En considerant un banc de filtres dyadique associe a` unedecomposition en ondelettes nous allons generer une structureredondante, a` partir de laquelle plusieurs configurations de des-criptions multiples sont possibles. Nous allons analyser et com-parer ces configurations et proposer une solution qui conservela propriete de reconstruction parfaite, tout en reduisant la re-dondance.

Soit (xn)nZ, un signal dentree temporel et notons (hn)nZ(resp. (gn)nZ) le filtre passe-bas (resp. passe-haut) dun bancde filtres danalyse dyadique a` reconstruction parfaite. Les ex-pressions des coefficients dapproximation et de details sontalors

aIn =k

h2nk xk (1)

dIn =k

g2nk xk. (2)

En sous-echantillonnant aux instants impairs plutot quaux ins-tants pairs, les coefficients dapproximation et de details de-viennent

aIIn =k

h2n1k xk (3)

d IIn =k

g2n1k xk. (4)

En considerant ces 4 ensembles de coefficients, nous avons na-turellement une decomposition redondante, le nombre des co-efficients etant multiplie par 2.

Il est toutefois possible de construire des representationsplus economiques tout en gardant la propriete souhaiteede reconstruction parfaite. Pour ce faire, nous decimons lessequences precedentes dun facteur 2, et nous introduisonsalors les notations aIn = aI2n et aIn = aI2n1, des notationssimilaires etant utilisees pour les sequences de coefficients dedetails vues precedemment.

Ainsi, le vecteur cn qui contient toutes les sequences sous-echantillonnees possibles est :

cn =(aIn a

In a

IIn a

IIn d

In d

In d

IIn d

IIn

)T

.

Le syste`me propose est facilement decrit en utilisant unedecomposition polyphase. Introduisons les composantes poly-phases 4-bandes des filtres danalyse :

hi(n) = h4nigi(n) = g4ni

ou` i {0, . . . , 3}, ainsi que les transformees en z correspon-dantes Hi(z) et Gi(z).

De la meme manie`re, nous definissons les quatre compo-santes polyphases du signal dentree x(i)n = x4n+i, i {0, . . . , 3}, et le vecteur des composantes polyphases corres-pondant :

xn =(x(0)n x

(1)n x

(2)n x

(3)n

)T

Les equations (1) - (4) peuvent se re-ecrire a` laide de larepresentation polyphase comme suit :

C(z) =M(z) X(z) (5)ou` C(z) et X(z) sont les transformees en z de (cn)nZ et de(xn)nZ.M(z) est la matrice de transfert polyphase globale.

M(z) =

H0(z) H1(z) H2(z) H3(z)H2(z) H3(z) H0(z)z

1H1(z)z

1

H1(z) H2(z) H3(z) H0(z)z1

H3(z) H0(z)z1

H1(z)z1

H2(z)z1

G0(z) G1(z) G2(z) G3(z)G2(z) G3(z) G0(z)z

1G1(z)z

1

G1(z) G2(z) G3(z) G0(z)z1

G3(z) G0(z)z1

G1(z)z1

G2(z)z1

.

Des schemas de faible redondance sobtiennent, par exemple,en eliminant 2 des 8 composantes de cn. Neanmoins, un choixjudicieux des sequences omises est necessaire, pour garder unedistorsion laterale acceptable. Pour ce faire, tous les schemasque nous construisons conservent les sous-bandes dapproxi-mations issues des deux decompositions, et eliminent seule-ment la moitie des composantes polyphases des sous-bandesde details.

Le vecteur cn resultant correspond a` un facteur de redon-dance egal a` 3/2. Le banc de filtres sur-echantillonne resultantest tel que C(z) =M(z) X(z), ou` C(z) est la transformee enz de (cn)nZ et M(z) est la matrice de transfert polyphase duschema considere.

Plusieurs decompositions possibles peuvent malgre tout etreobtenues suivant le choix de la sous-matriceM(z). Nous noussommes interesses plus particulie`rement aux 4 solutions sui-vantes, pour lesquelles nous specifions egalement la manie`rede construire les 2 descriptions.

Schema R : ce schema consiste a` separer les coeffi-cients de details issus dune analyse classique mono-dimensionnelle (a` sous-echantillonnage critique) en deuxgroupes : les coefficients dindice pair et les coefficientsdindice impair, chacun des groupes appartenant a` lunedes descriptions. Les coefficients dapproximation sontsimplement dupliques, dou`

cn = ( aIn a

In d

In

1e description

aIn aIn d

In

2e description

)T.

Schema D1 : on distribue les coefficients de detail de lameme manie`re que dans le schema precedent, mais dansla seconde description, au lieu de repeter les coefficientsdapproximation de la premie`re description, on utilise lescoefficients dapproximation de la seconde base. Cela cor-respond a`

cn = ( aIn a

In d

In

1e description

aIIn aIIn d

In

2e description

)T.

Schema D2 : on ajoute plus de diversite dans le choixdes coefficients de detail en prenant en compte les coeffi-cients dindices pairs de la seconde base :

cn = ( aIn a

In d

In

1e description

aIIn aIIn d

IIn

2e description

)T.

Haar

Lifting

+

ME

Haar

Lifting

+

ME

ME

ME

z1

z1

aIn

dIn

aIIn

dIIn

aIn

aIIn

12

12

x(0)n

x(1)n

x(3)n

x(2)n

z1

z1

FIG. 1 Schema en lifting 4-bandes redondant (lestimation demouvement optionnelle est indiquee en pointilles).

Schema D3 : en selectionnant dans la seconde base lescoefficients de details dindices impairs plutot que ceuxdindices pairs, on obtient alors

cn = ( aIn a

In d

In

1e description

aIIn aIIn d

IIn

2e description

)T.

En labsence de quantification, les deux premiers schemassont evidemment inversibles puisquils contiennent tous les co-efficients obtenus a` partir dune analyse a` sous-echantillonnagecritique classique. Pour les 2 autres schemas, linversibilitenest pas garantie a priori.

Reconstruire le signal a` partir des representations redon-dantes proposees, revient en termes de MDC a` definir leschema de synthe`se utilise par le decodeur central. Avec lesnotations precedentes, le proble`me est de trouver une matricede transfertW(z) polynomiale de dimension NK telle que :

W(z)M(z) = INN (6)ou`

W(z) = [Wi,j(z)]1iN,1jK

etM(z) = [Mi,j(z)]1iK,1jN

avec K = 6 et N = 4 < K. Ce proble`me nayant pas de solu-tion unique, nous avons mis en evidence une solution optimale(minimisant les effets dus aux bruits de quantification) par uneapproche de type pseudo-inverse [15].

3 Application au codage videoUne difficulte supplementaire inherente au codage video est

la prise en compte de lestimation/compensation de mouve-ment.

Dans chaque description une paire de coefficients dap-proximation et de detail est obtenue par un etage lifting clas-sique. Lapplication dune transformee compensee en mouve-ment pour cette paire se fait naturellement [16]. En revanche, lecoefficient dapproximation dindice complementaire apparatseul, suite a` lelimination du coefficient de detail correspon-dant. Ceci est illustre dans la figure 1.

Pour le calcul de ce coefficient, deux strategies differentespeuvent etre envisagees, suivant que lon fasse intervenir ou

384 512 768 1024 1280 153616

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34Decodeur central

Debit (kBits/s)

PSNR

(dB)

schema non redondantschema originalavec compensation de mouvementavec compensation de mouvement et transformee supplementaire

384 512 768 1024 1280 153618

19

20

21

22

23

24

25

26

27Decodeur lateral A

Debit (kBits/s)

PSNR

(dB)

schema originalavec compensation de mouvementavec compensation de mouvement et transformee supplementaire

FIG. 2 Courbes debit-distorsion comparant les differentesstrategies dintroduction de compensation de mouvement dansle schema D3 pour le decodeur central (gauche) et un decodeurlateral (droite) pour la sequence MOBILE (CIF a` 30fps)

non une compensation de mouvement. En introduisant cettecompensation de mouvement (en pointilles sur la figure 1), onaugmente un peu la redondance car on a a` coder un champde vecteurs de mouvement supplementaire. Pourtant, ce champpermet dobtenir une sous-bande dapproximation tre`s prochedune image naturelle, ce qui facilite son codage. En plus, lorsdu decodage lateral lefficacite de reconstruction est aussi aug-mentee.

Apre`s une etude sur la correlation temporelle des deuxsous-bandes dapproximation dune description, une troisie`mestrategie sest ave`ree interessante. Elle consiste a` appliquer unenouvelle analyse temporelle de Haar sur ces approximationspour augmenter lefficacite du codage.

4 Simulations et resultatsParmi les 4 schemas etudies, R et D2 donnent de moins

bonnes performances que D1 et D3 en terme de puissance dubruit de quantification dans la sequence reconstruite, et nous nenous attarderons donc pas a` presenter leurs resultats. Dans lessimulations, nous effectuons J = 3 niveaux de decompositiontemporelle avec la transformee de Haar compensee en mouve-ment [17]. Au dernier niveau, nous utilisons lun des 2 schemas

analyses D1 ou D3. La redondance globale est 1 + 2J , lestrames de details pour les resolutions j < J etant distribueesde manie`re equitable entre les 2 descriptions. Enfin, pour lesdecodeurs lateraux, une approche par pseudo-inverse a aussiete developpee pour la reconstruction optimale des descrip-tions.

Les schemas proposes ont ete testes sur plusieurs sequencesCIF a` 30fps. Dans un premier temps, on compare les schemasD1 et D3 en faisant une decomposition temporelle sur trois ni-veaux, compensee en pel entier, seulement sur les deux pre-miers et, pour linstant, sans aucune estimation de mouve-ment sur le niveau ou nous avons introduit la redondance. Lessous-bandes obtenues sont decomposees spatialement avec desondelettes biorthogonales 9/7 puis codees en utilisant lalgo-rithme MC-EZBC [18].

Cette comparaison en termes de performances debit-distorsion est presentee dans le tableau 1 pour les decodeurscentraux et lateraux. Comme preconise par la theorie, ledecodeur central du schema D1 donne de meilleurs resultatsque celui de D3. Le decodeur lateral note A (correspondant a`la premie`re description) dans le tableau 1 est identique pour les2 schemas, alors que pour le decodeur note B (description 2),une dissymetrie de construction dans le schema D1 expliquelecart de performances.

TAB. 1 Comparaison debit-distorsion : PSNR (dB) a`differents debits (Kbs), pour les sequences FOREMAN et MOBILE (CIF a` 30fps) sur 3 niveaux de decomposition enondelettes.

FOREMAN schema D1debit 250 500 750 1000 1500 3000central 29.48 32.19 33.85 34.98 36.85 40.53lateral A 26.05 27.20 27.78 28.13 28.66 29.51lateral B 24.32 24.84 25.06 25.16 25.29 25.43

FOREMAN schema D3debit 250 500 750 1000 1500 3000central 29.27 32.01 33.68 34.79 36.68 40.39lateral A 26.05 27.20 27.78 28.13 28.66 29.51lateral B 25.26 26.16 26.62 26.88 27.28 27.96

MOBILE schema D1debit 250 500 750 1000 1500 3000central 19.89 22.18 23.54 24.88 26.55 30.61lateral A 18.96 20.15 20.78 21.24 21.91 23.07lateral B 18.36 19.24 19.70 19.93 20.37 20.90

MOBILE schema D3debit 250 500 750 1000 1500 3000central 19.70 21.95 23.33 24.61 26.33 30.43lateral A 18.96 20.15 20.78 21.24 21.91 23.07lateral B 18.81 19.83 20.35 20.72 21.28 22.23

Dans la suite on augmente lefficacite du codage en passanta` une compensation au 8e`me de pel sur tous les niveaux tempo-rels et nous comparons les resultats des trois strategies decritesdans la section 3 sur le schema D3, qui est plus equilibre. Cesresultats se trouvent dans la figure 2. Nous pouvons remar-quer que lintroduction de compensation de mouvement pour le2e`me coefficient dapproximation ameliore considerablement

les performances des decodeurs lateraux, mais diminue les per-formances du decodeur central. Cet inconvenient est resoluavec la nouvelle transformee de Haar appliquee sur les coef-ficients dapproximation.

5 ConclusionsDans cet article, nous avons presente plusieurs schemas de

codage par descriptions multiples temporelles bases sur desdecompositions en ondelettes redondantes avec un facteur deredondance reduit. Le facteur de redondance est reglable a`laide du nombre de niveaux de decomposition temporelle ef-fectue. Nous avons etudie la reconstruction de ces schemas, op-timale en termes deffet du bruit de quantification. Les schemasetudies ont ete appliques au codage video scalable et robuste etnous avons constate que, dans ce cas, la compensation de mou-vement joue un role essentiel.

References[1] J. Xu, Z. Xiong, S. Li, and Y. Zhang, Three-Dimensional Embedded Subband Co-

ding with Optimized Truncation (3D-ESCOT), Applied and Computational Har-monic Analysis, vol. 10, pp. 290315, 2001.

[2] B.-J. Kim, Z. Xiong, and W.A. Pearlman, Very low bit-rate embedded video codingwith 3-D set partitioning in hierarchical trees (3D-SPIHT), IEEE Trans on Circ.and Syst. for Video Tech., vol. 8, pp. 13651374, 2000.

[3] V.K. Goyal, Beyond Traditional Transform Coding, Ph.D. thesis, Univ. California,Berkeley, 1998.

[4] A. R. Reibman, H. Jafarkhani, Y. Wang, M. T. Orchard, and R. Puri, Multiple-description video coding using motion-compensated temporal prediction, IEEETrans. on Circ. and Syst. for Video Technology, vol. 12(3), pp. 193204, March2002.

[5] Y. Wang and S. Lin, Error-resilient video coding using multiple description motioncompensation, IEEE Trans. on Circ. and Syst. for Video Technology, vol. 12(6), pp.438452, June 2002.

[6] Y. Wang, A.R. Reibman, and S. Lin, Multiple description coding for video deli-very, Proceedings of the IEEE, vol. 93(1), pp. 5770, January 2005.

[7] I. V. Bajic and J. W. Woods, Domain-based multiple description coding of imagesand video, IEEE Trans. on Image Proc., vol. 12(18), pp. 12111225, October 2003.

[8] M. Fumagalli, R. Lancini, and A. Stanzione, Video transmission over ip by usingpolyphase downsampling multiple description coding, Proc. IEEE Int. Conf. onMultimedia and Expo, August 2001, pp. 10951098.

[9] M. Pereira, M. Antonini, and M. Barlaud, Multiple description coding for internetvideo streaming, Proc. IEEE Int. Conf. Image Processing, 2003.

[10] B. Pesquet-Popescu C. Tillier and M. van der Schaar, Multiple descriptions scalablevideo coding, Proc. of EUSIPCO, Sept. 2004.

[11] M. van der Schaar and D.S. Turaga, Multiple description scalable coding usingwavelet-based motion compensated temporal filtering, Proceedings of the IEEEInternational Conference on Image Processing, Barcelona, Sept. 2003.

[12] V.K. Goyal, J. Kovacevic, and Martin Vetterli, Quantized frame expansions assource-channel codes for erasure channels, Proc. IEEE Data Compression Conf.,pp. 326335, March 1999.

[13] J. Kovacevic, P.L. Dragotti, and V. Goyal, Filter bank frame expansions with era-sures, IEEE Trans. on Inf. Theory, vol. 48, no. 6, pp. 14391450, June 2002.

[14] R. Motwani and C. Guillemot, Tree-structured oversampled filterbanks as jointsource-channel codes : application to image transmission over erasure channels,IEEE Transactions on Signal Processing, vol. 52 (9), pp. 2584 2599, Sept. 2004.

[15] T. Petrisor, C. Tillier, B. Pesquet-Popescu, and J.-C. Pesquet, Temporal multipledescription schemes for scalable video using wavelet frames, en preparation.

[16] T. Petrisor, C. Tillier, B. Pesquet-Popescu, and J.-C. Pesquet, Redundant multire-solution analysis for multiple description video coding, International Workshop onMultimedia Signal Processing, Sienne, Italie, 2004.

[17] B. Pesquet-Popescu and V. Bottreau, Three-dimensional lifting schemes for motioncompensated video compression, IEEE Int. Conf. on Acoustics, Speech and SignalProc., Salt Lake City, UT, May 2001.

[18] 3D MC-EZBC software package, disponible sur MPEG CVS.