Problématiques liées à la communication vidéo sur réseaux

INRIA-Rennesprojet TEMICSStéphane Pateux

http://www.irisa.fr/temics/

Atelier Franco-Marocain STIC - 28-29 Mai 2001

Contexte général

• Communication vidéo– bande passante limitée : compression

• contexte MPEG4: codage orienté-objets

• analyse de la vidéo: segmentation, modélisation d ’objets

• nouvelles approches innovantes

– édition vidéo• post-production

– transmission sur réseau à QoS non garantie• codage conjoint source canal

– protection de documents• tatouage de flux multimédia

z

• Contexte général

• Analyse, segmentation, suivi temporel d ’objets vidéo

• Manipulation vidéo

• Codage conjoint source canal

• Tatouage

• Quelques sujets ouverts et autres labos en France travaillant sur ces sujets

Plan

Analyse, segmentation, suivi temporel

• Problématique– segmentation pour le codage

• amélioration globale de la compression

• compression avec régions d ’intérêts

– suivi d ’objets vidéos– modélisation d ’objets vidéos

• représentation par maillages actifs

• reconstruction 3D

Codage basé régions Segmentation basée mouvement avec modèles de mouvement affines Optimisation R-D (étiquettes, coût de description des contours, erreur de prédiction)

MPEG-2 (1 Mbits/s) Region (1 Mbits/s)

Analyse, segmentation, suivi temporel

rG

rGrGG

SSDL

SDLSDLDL

,,

,min

,

Analyse, segmentation, suivi temporel

Première approche: Suivi temporel basé-contours Utilisation de contours actifs dans un cadre multi-objets

Suivi des objets par filtrage de Kalman et interpolation des images intermédiaires

dssddssdE rrppr '

dssNsdsPItEd

.

Contours actifs

Attache aux données

Terme de régularisation

Minimisation de: rd EEE

Objectifs: Segmentation avec bonne localisation spatiale + suivi temporel Gestion objets multiples et déformables Représentation compacte et scalable

Analyse, segmentation, suivi temporel

Seconde approche: Approche orientée-régions

Segmentation spatiale d ’images basée sur des outils de morphologie math.

Suivi temporel d ’objets vidéo par affectations, projection au sens du mouvement et redécoupage des régions

Interface Graphique pour le suivi interactif

Représentation par maillages

Objectifs

•Suivi des déformations par maillage actif•Maillage propre à un objet vidéo•Modélisation hiérarchique adaptative

Résultats

•Concept de lignes de ruptures•Schéma de codage vidéo basé maillage•Optimisation R-D des maillages

Représentation par maillages et segmentation

Codage 100 Kbit/s CIF@15hz

Mesh tracking Mosaick Evolution Reconsctruction

Représentation/compression basées modèles 3D

Objectifs: Objectifs de compression et de navigation dans de grandes scènes Modélisation 3D à partir de séquences monoculaires géométrie projective, auto-calibration) Représentation compacte et scalable des modèles et attributs.

Approche: Estimation de mouvement par maillage Critères mixtes compression-qualité rendu Suite modèles 3D + images clés texture + position caméra; schéma IPP

H263 Rec3DR=117kb/s, format CIF, fr=25Hz

Edition de vidéos

• Problématique:– mixage de scène

• téléconférence virtuelle

– ajout/suppression d ’objets vidéos– gestion des problèmes d ’illuminations

Edition de séquences

)](sin))(1[(cos)(

)](sin))(1[(cos)(

gggy

gggx

xxyykyyktdy

yyxxkxxktdx

Analyse du mouvement + segmentation

Reconstruction d’images panoramiquesAnalyse des conditions d ’éclairement

Analyse

SynthèseCréation de nouvelles trajectoiresHarmonisation conditions d ’éclairement

Objectifs:

Manipulation d ’objets dans une séquence Mélange réaliste d ’objets synthétiques et d ’objets naturels

Détermination de la direction d ’éclairement

Détection des variations d ’éclairementSegmentation de l ’ombre

Edition de séquences

Codage conjoint source-canal (IP+sans fil)

Optimiser la QoS en prenant en compte les modèles de la source et du canal

Canaux hétérogènes (non stationnaires, multipoints, topologie fixes+sans fils)

Approches complémentaires - contrôle de congestion - codage robuste et conjoint - décodage conjoint source-canal

Equilibre approches compatibles et non compatibles

Modèle de test H263 Optimisation R-D avec prise encompte du canal

taux de pertes=10%

Codage conjoint compatible: redondance temporelle

Métriques de performance débit-distorsion

Estimation compensée en mvt de la propagation des pertes

Objectif: transmission robuste aux pertes

Codage conjoint compatible: contrôle de congestion

Modèles de prédiction de bande passante Régulation de débit en point-à-point

)321()8

33,1min(

32 2

0 ppbp

Tbp

RTT

MSSB

n

iiii

n

iiii

Twd

cwdp

1

1

feedn

n

feedn

n

t

t

t

t Ne dttRdttR

)()(ne tB )(

buff

~

5% pertes, Rennes-Stuttgart

RTTRTT DST 40 RTTcurrRTT SRTTS )1(

FR

FRBWRTTfeed

)%5,max(

Objectif: Adaptation à la bande passante

Codage conjoint compatible: codage scalable robuste et contrôle de congestion multipoint

Récepteur 3 (100Kbit/s)Récepteur 1 (50Kbit/S) Récepteur 2 (100Kbit/s)

Algorithme de clustering et d’agrégation (Planète) Représentation scalable

Modèles et régulation par niveau de scalabilité

Objectif: Adaptation à la bande passante en multi-point

(Dé)Codage conjoint compatible Décodage conjoint source-canal (sans fils)

Modélisation des dépendances entre processus de la chaîne de codage de source et de codage de canal, formalisme réseau Bayésien (collaboration SIGMA2)

Décodage souple de VLCs, basé sur estimateur de type MAP

Turbo décodage source-canal

Synchronisation “douce” de VLCS

Réseau Bayésien aléatoire

Objectif: Exploiter la corrélation résiduelle ou introduite

Codage conjoint non compatible Transformations redondantes

codeur de canal

Codeurde source

Décodeur de source

décodagesyndrôme

xWWy kn (n,n)(n,k) (k,k) (k,1)(n,1)

*1* )(~

FFFF

F

Expansion du signal sur des bases de fonctions (« frames ») redondantes (ou sur-échantillonnées)

Projectioncanal

« Bonnes » bases de décomposition?Mise en forme du bruit de quantification

Introduire de la redondance dans la représentation compressée du signal

Exploiter la diversité dans un contexte de transmission multi-canal

Objectif: Introduire de la corrélation au niveau de la représentation de source

Décodage basé syndrôme

Protection de documents multimédias

• Problématique– limiter le risque de piratage de contenu numérique

– insertion d ’une marque invisible dans l ’image

– résistance à différentes manipulations• non-intentionnelles

– compression, filtrage, cropping, retaille

• intentionnelles

Tatouage d ’images fixes et animées

• Objectifs

– Insertion de marque robuste

– Invisibilité de la marque(masquage psychovisuel)

– Résistance aux attaques

– Analogie avec le codage canal

• Approche étudiée

– Modélisation des attaques

– Analogie codage canal

• technique d ’étalement de spectre

• utilisation de code correcteurs

• définition de la capacité d ’insertionet/ou taux d ’erreurs

originale tatouée

Mise en forme

Message M

Transfo.-1

Image tatouée

Transformation

Image P

Clef K

Choix de sites

Marque W

Insertion

Coefficients V

• Analyse automatique ou pseudo-automatique• Compression vidéo

– intérêt codage orienté objets?– développement de schémas vraiment scalable– convergence 2D-3D?

• Codage conjoint– diffusion multicast– gestion des nouveaux réseaux (sans fils)

• Tatouage– tatouage assymétrique– résistance accrue face aux attaques– formalisation du problème

Quelques sujets

• GDR ISIS: http://www-isis.enst.fr/– groupement de recherche CNRS sur les activités

traitement du signal et de l ’image

• Analyse d ’image - compression– SEI - Ecole polytechnique Nantes (D. Barba)– LIS - Grenoble (JM Chassery)– I3S-CReATIVe - Sophia Antipolis (M. Barlaud)– LIGIV - Lyon (A. Baskurt)– CREATIS - INSA Lyon (R. Prost, I. Magnin)

Quelques équipes travaillant sur ces sujets

• Codage conjoint source canal– LIP6 (K. Salamatian)– Planete - INRIA Sophia-Antipolis (T. Turletti)– SEI - Nantes (JP Guédon)

• Tatouage– UTC (F. Davoine)– LIS (JM Chassery)– Eurecom (JL. Dugelay)– Supelec (P. Duhamel)– SIC - Poitiers (C. Fernandez)

Quelques équipes travaillant sur ces sujets