- TEMICS -Traitement d ’Images, Modélisation

et CommunicationS

Séminaire d ’évaluation du programme 3B (15-16/3 2001)

1997: TEMIS (Traitement, Exploitation et Modélisation d ’Images Séquentielles) se scinde en deux projets

TEMICS -> Thème fédérateur : « Image et Communication » -> 18 personnes (dont 2 chercheurs INRIA, 1

Mdc, 1 IR CNRS, 1 IE INRIA (50%))

VISTA -> Thème fédérateur : « Modélisation statistique, vision dynamique et vision active »

Quelques dates, chiffres et mouvements

Mouvements: Arrivées -> 1 DR INRIA (Nov. 97), 1997-2001 1 CR INRIA en détach. (Sept 98), 1 CR CNRS (Janv. 2000).

Départs -> 1 DR INRIA (reste à 10%); changement chef de projet (Mars 99), 1 IE INRIA

Doctorants: 8 soutenances sur la période 1997- Fév. 2001

Composition au 15 Mars 2001

Objectifs en 1997 (création du projet)

Conception de schémas robuste d ’analyse spatio-temporelle (segmentation, suivi) de séquences et d ’extraction des attributs (mouvement, forme, illumination, …) des objets

Spécification de modèles conjoints pour l ’analyse d ’objets réels et synthétiques avec comme contexte la réalité augmentée

Adéquation de la représentation/compression de l ’information visuelle avec les protocoles réseau, notamment dans un contexte de réseaux hétérogènes

Thème fédérateur : « Image et Communication »

(Analyse,modélisation, édition, et communication)

« Infléchissements » sur la période 1997-2001

Fédération des efforts en analyse, codage et codage conjoint pour fonctionnalités telles que:

interactivité (manipulation, navigation), prise en compte des modèles de canal ;

Elargissement de la problématique codage conjoint à des liens sans fils;

Démarrage de travaux en tatouage d ’images et de séquences vidéo.

Axes de recherche (à partir de 1999)

Analyse, modélisation, édition de séquences

vidéoL. Amsaleg, L. Morin, H. Nicolas, S. Pateux

4 thèses soutenues + 5 thèses en cours

Codage et codage conjoint source-canal pour communication vidéo

C. Guillemot, C. labit (10 %)

4 thèses soutenues + 4 thèses en cours

Tatouage d ’images et de séquences vidéo C. Guillemot, S. Pateux

1 thèse en cours

Principaux résultats algorithmiques Analyse, segmentation, suivi temporel (approches régions et contours) Codage basé régions, et codage basé sur une représentation par maillages

Modélisation 3D pour compression et navigation

Edition de séquences pour post-production

Codage conjoint pour communication sur IP (codage robuste, contrôle de congestion point-à-point et multi-point, transformations redondantes)

Codage conjoint pour communication sans fils (décodage turbo)

Tatouage d ’images

Logiciels

Bilan factuel (publications, visibilité, collaborations)

Bilan

Bilan (1): Analyse, segmentation, suivi temporel

Première approche: Suivi temporel basé-contours Utilisation de contours actifs dans un cadre multi-objets

Suivi des objets par filtrage de Kalman et interpolation des images intermédiaires

dssddssdE rrppr '

dssNsdsPItEd

.

Contour actif

Attache aux données

Terme de régularisation

Minimisation de: rd EEE

Objectifs: Segmentation avec bonne localisation spatiale + suivi temporel Gestion objets multiples et déformables Représentation compacte et scalable

Bilan (2): Analyse, segmentation, suivi temporel

Seconde approche: Approche orientée-régions

Segmentation spatiale d ’images basée sur des outils de morphologie math.

Suivi temporel d ’objets vidéo par affectations, projection au sens du mouvement et redécoupage des régions

Interface Graphique pour le suivi interactif

Codage basé régions Segmentation basée mouvement avec modèles de mouvement affines Optimisation R-D (étiquettes, coût de description des contours, erreur de prédiction)

MPEG-2 (1 Mbits/s) Region (1 Mbits/s)

Bilan (3): Analyse, segmentation, suivi

temporel

rG

rGrGG

SSDL

SDLSDLDL

,,

,min

,

Bilan (4): Représentation par maillages

Objectifs

•Suivi des déformations par maillage actif•Maillage propre à un objet vidéo•Modélisation hiérarchique adaptative

Résultats

•Concept de lignes de ruptures•Schéma de codage vidéo basé maillage•Optimisation R-D des maillages

Bilan (5):Représentation/compression basées

modèles 3D Objectifs: Objectifs de compression et de navigation dans de grandes scènes Modélisation 3D à partir de séquences monoculaires géométrie projective, auto-calibration) Représentation compacte et scalable des modèles et attributs.

Approche: Estimation de mouvement par maillage Critères mixtes compression-qualité rendu Suite modèles 3D + images clés texture + position caméra; schéma IPP

H263 Rec3DR=117kb/s, format CIF, fr=25Hz

Bilan (6): Edition de séquences

)](sin))(1[(cos)(

)](sin))(1[(cos)(

gggy

gggx

xxyykyyktdy

yyxxkxxktdx

Analyse du mouvement + segmentation

Reconstruction d’images panoramiquesAnalyse des conditions d ’éclairement

Analyse

SynthèseCréation de nouvelles trajectoiresHarmonisation conditions d ’éclairement

Objectifs:

Manipulation d ’objets dans une séquence Mélange réaliste d ’objets synthétiques et d ’objets naturels

Détermination de la direction d ’éclairement

Détection des variations d ’éclairementSegmentation de l ’ombre

Bilan (7): Edition de séquences

Bilan (8): Codage conjoint source-canal (IP+sans fil)

Optimiser la QoS en prenant en compte les modèles de la source et du canal

Canaux hétérogènes (non stationnaires, multipoints, topologie fixes+sans fils)

Approches complémentaires - contrôle de congestion - codage robuste et conjoint - décodage conjoint source-canal

Equilibre approches compatibles et non compatibles

Modèle de test H263 Optimisation R-D avec prise encompte du canal

taux de pertes=10%

Bilan (9) Codage conjoint compatible: redondance temporelle

Métriques de performance débit-distorsion

Estimation compensée en mvt de la propagation des pertes

Objectif: transmission robuste aux pertes

Bilan (10) Codage conjoint compatible: contrôle de congestion

Modèles de prédiction de bande passante Régulation de débit en point-à-point

)321()8

33,1min(

32 2

0 ppbp

Tbp

RTT

MSSB

n

iiii

n

iiii

Twd

cwdp

1

1

feedn

n

feedn

n

t

t

t

t Ne dttRdttR

)()(ne tB )(

buff

~

5% pertes, Rennes-Stuttgart

RTTRTT DST 40 RTTcurrRTT SRTTS )1(

FR

FRBWRTTfeed

)%5,max(

Objectif: Adaptation à la bande passante

Bilan (11) Codage conjoint compatible: codage scalable robuste et contrôle de congestion multipoint

Récepteur 3 (100Kbit/s)Récepteur 1 (50Kbit/S) Récepteur 2 (100Kbit/s)

Algorithme de clustering et d’agrégation (Planète) Représentation scalable

Modèles et régulation par niveau de scalabilité

Objectif: Adaptation à la bande passante en multi-point

Bilan (15): (Dé)Codage conjoint compatible Décodage conjoint source-canal (sans fils)

Modélisation des dépendances entre processus de la chaîne de codage de source et de codage de canal, formalisme réseau Bayésien (collaboration SIGMA2)

Décodage souple de VLCs, basé sur estimateur de type MAP

Turbo décodage source-canal

Synchronisation “douce” de VLCS

Réseau Bayésien aléatoire

Objectif: Exploiter la corrélation résiduelle ou introduite

Bilan (16): Codage conjoint non compatible Transformations redondantes

codeur de canal

Codeurde source

Décodeur de source

décodagesyndrôme

xWWy kn (n,n)(n,k) (k,k) (k,1)(n,1)

*1* )(~

FFFF

F

Expansion du signal sur des bases de fonctions (« frames ») redondantes (ou sur-échantillonnées)

Projectioncanal

« Bonnes » bases de décomposition?Mise en forme du bruit de quantification

Introduire de la redondance dans la représentation compressée du signal

Exploiter la diversité dans un contexte de transmission multi-canal

Objectif: Introduire de la corrélation au niveau de la représentation de source

Décodage basé syndrôme

Bilan(17): Tatouage d ’images fixes et animées

• Objectifs– Insertion de marque robuste– Invisibilité de la marque

(masquage psychovisuel)– Résistance aux attaques– Analogie avec le codage canal

• Premiers résultats– Modélisation des attaques– Analogie codage canal

• technique d ’étalement de spectre• utilisation de code correcteurs• définition de la capacité d ’insertion

Message inséré: Temics

originale tatouée

Attaquée (JPEG 10%)

Bilan (18): Logiciels

Logiciel de segmentation et de suivi interactif d’objets vidéo

Logiciel de création d’images mosaïques intégré sous forme de “plug-in” dans le logiciel “after-effect” de post-production

Logiciels avancés

Logiciels prototypes Plate-forme de communication: expérimentation, validation algorithmes dans des conditions aussi réalistes que possible Librairie d’outils de traitement d’images et de développement de démos interactives

Visibilité

Publications

Autres: Coordination scientifique CNRT-TIM (S. Pateux) Coordination réseau d ’actions intégrées Franco-Marocaine (C. Labit)

Editeur associé IEEE Trans. on image processing (C. Guillemot) Membres CT2 RNRT (C. Labit 98-99, C.Guillemot 2000) Participation évaluation propositions IST (99-2000), SFI (C. Guillemot) Membres comités techniques nationaux GRETSI (C. Labit), et internationaux: VCIP, NSIP, IEEE-IMDSP (C. Guillemot) .

Collaborations Inria

Programme 3B

VISTA

SIAMES

SYNTIM

Hors programme 3B

RODEO/PLANETE

SIGMA2

ARMOR

CODES

Analyse de mouvement, indexation et BDs

Représentation hiérarchique de scènes 3D (CTI-CNET); intégration outils dans « after-effect »

Thèmes

Outils de modélisation 3D pour champs denses de référence (RNRT-V2NET, IST-Openise)

ARC-DEVIN: vidéo sur Internet

Approches statistiques pour décodage conjoint source-canal

Montage projet RNRT sur tatouage

Différenciation de services

Collaborations Recherche Internationales

Actions intégrées

Univ. Brescia, Italie (Galilée)

Univ. Rabat, Maroc (action France-Maroc)

Univ. Polytechnique de catalogne, Espagne

(Picasso)

Univ. Hanovre, Allemagne (TMR- postdoc)

Univ. Stuttgart, Allemagne (Procope)

Accueils professeurs invités

Univ. Illinois Chicago, USA

QMW, Londres, UK

Compression avec régions d ’intérêtpour télédiagnostic médical

Segmentation

Modèles d ’illumination pour réalité augmentée

Thèmes

Co-encadrement thèses (statistiques d ’ordre supérieur en compression)

Différenciation de services

Transformations redondantes etdescriptions multiples

Représentation 3D

Convention CIFRE Microprocess Mai 97 - Avr. 2000; bourse thèse IRISA+ 125KF

Convention CIFRE Thomson TCO Mai 1998 - Avr. 2001; suivi thèse locaux TCO

CTI-CNET Mars 96 - Mars 99; 525KF

Convention CIFRE Thomson Multimédia Oct.98 - Sept. 2001; suivi thèse locaux TMM

Collaborations industrielles bi-latérales

Edition semi-automatiquede séquences

Reconstruction interactive de scènes 3D

Chaîne de navigation à distancedans des modèles 3D de scènes réelles

Thèmes / Contributions

Modélisation et représentation hiérarchique de scènes 3D

Partenaire

Contrat CNES Nov. 97 - Oct. 2000; bourse thèse IRISA

CTI - CNET Sept. 98 - Août 2001; 975 KF

Contrat CELAR Sept 99-Mars 2000; 610KF

Décodage conjoint source-canal pour liaison vidéo en robotique mobile

Codage scalable pour transmissionvidéo multipoint sur IP

Régulation de débit pour imageriesatellitaire

Collaborations Multi-partenaires

Projets Européens

ESPRIT-NEMESIS (Sept. 1998 - Août. 2000)

IST-SONG (Jan. 2000- Déc 2001)

IST OPENISE (Jan. 2000-Déc 20001)

Projets Nationaux

RNRT-OSIAM (Déc. 1998 - Nov. 2001)

RNRT-COHRAINTE (Mar. 1999 - Fév. 2002)

RNRT-VISI (Sept 1999 - Fév. 2001)

RNRT-V2NET (Jan. 2000- Déc. 2002)

Edition de séquences, mosaïckingpour postproduction

Codage robuste - contrôlede congestion sur IP

Régulation de débit en différenciation de services

Segmentation - suivi temporel

Représentation par maillages

Codage conjoint sur IP

Modélisation 3D

Contributions

Perspectives (1): Analyse Le thème « Image et communication » reste le thème fédérateur du projet

« Convergence » 2D / 2D déformable et 3D pour solutions codage basées modèles et manipulation

Perspectives (2): Analyse et codage conjoint

Couplage des schémas robustes d’analyse spatio-temporelle avec les techniques de représentation robuste et scalable de l ’information

Suivi maillage Texture générée Codage (~160Kb/s)

MPEG-1 300Kb/s H263 160Kb/s H263 300Kb/s

Perspectives (3): Analyse et codage conjoint

Perspectives (4): Codage conjoint source-canal

Prise en compte des modèles de canal dans la conception d’outils de représentation des images et signaux vidéo

Renforcement des approches non compatibles

représentation scalable à grain fin (représentation multi-résolution et quantification emboîtée)

conception de transformations multi-résolution redondantes

codage par descriptions multiples (analogie codes espace-temps)

exploitation du formalisme réseaux Bayésien en décodage conjoint

(Discussions en cours: Convention Bouygues télécom, projet RNRT Eire, )

Perspectives (5): Tatouage + évolution projet

Renforcement étude sur tatouage vidéo, en mettant l’accent sur tatouage multi-niveau

Prise en compte impact mutuel tatouage-indexation-représentation des données au sein d ’une base

(Projet RNRT et projet IST en cours de montage)

Réflexion sur création activité de recherche autonome sur les techniques de description, d ’exploitation (recherche, navigation,…) et de stockage de grands volumes de données multimédia et exotiques.

La réalisation des objectifs ci-dessus passe par le renforcement des moyens humains sur les thèmes du codage conjoint et du tatouage.