Laboratoire Bordelais de Recherche en Informatique 23/02/2014 3.2. Caractérisation du mouvement et méthodes par comparaison du mouvement - Présument une

Laboratoire Bordelais de Recherche en Informatique

11/04/23

3.2. Caractérisation du mouvement et méthodes par comparaison du mouvement - Présument une estimation du

mouvement global dans le plan-image - Méthodes par comparaison du

mouvement et des mesures liées au codage - Caractérisation du mouvement de la

caméra - Approches par projections

(transformées)


11/04/23

Méthodes « par comparaison du mouvement » Hypothèse : les frontières des segments

temporels correspondent au ruptures des modèles du mouvement.

Souvent les méthodes opèrent dans le domaine compressé (MPEG1,2) et utilisent les

informations du mouvement disponibles ( flot optique macrobloc)


11/04/23

Segmentation temporelle basée sur le flot optique MPEG L’architecture des standards MPEG1,2

Types d’images I - intracoded (pas de compensation du mouvement) P - compensation de mouvement avec l’estimation B – compensation bi-directionnelle sans estimation

I, P - anchor frames


11/04/23

L’architecture des standards MPEG1,2(2)

Deux types de macroblocs dans les images P

-inter-coded :

- image et erreur codées-décodées

-intra-coded :

Codage du signal (image, erreur) : DCT, quantification, codage entropique

)1/,,(ˆ)1,,(),,( ttyxetdyydxxItyxI

)1/,(ˆ),,,( tytxetyxI

),,(),,( tyxItyxI


11/04/23

L’architecture des standards MPEG1,2(3)

Deux possibilités pour macroblocs dans les images B

inter-coded : passée (d1), futur(d2), bi-directionnel (d1+d2)/2–

intra-coded : DCT

Iref1 IB Iref2

d1

d2


11/04/23

Détection des changements des plans par l’analyse du débit (T. Sencar, G. Bozdagi)

Nombre de bits

Numéro de

l’image


11/04/23

Principe : l’augmentation du débit de codage des images P ou B signifie

- une mauvaise compensation du mouvement (par conséquent l’augmentation du débit de

codage de l’erreur de compensation) - codage de plusieurs macroblocs en mode

« intra »

Les raisons pour cela : un éventuel changement des scènes – « cut ».

Défauts : très pauvres performances dans le cas des effets de transition lents.

Détection des changements des plans par l’analyse du débit (T. Sencar, G. Bozdagi’99)


11/04/23

Detection du changement de plans par analyse du mouvement(Léonardi, Migliorati’2002)

j

yxi

jivjivMN

k ,),(1

1 22 L’amplitude moyenne des vecteurs de déplacement

)(kIntra Nombre de macro-blocs codés en « intra » dans k-ème image P

kkIntrakCut )()( Comparaison avec un seuil

Tyx vvv ,

- utilisation des images P uniquement


11/04/23

Detection du changement de plans et Caractérisation du mouvement de la caméra

-utilisation du nombre des blocs codés en « intra »

-prise en compte de la qualité d’estimation du modèle global

- choix d’image représentative (key-frame) par le test des hypothèses quant à la signification des paramètres du mouvement

-utilisation des images P uniquement

-estimation du modèle global du mouvement dominant – modèle de caméra


11/04/23

Estimation robuste du mouvment à partir du flot optique macrobloc au sens des moindres carrés Le modèle du mouvement global est supposé

yaxaayxdy

yaxaayxdx

654

321

),(

),(

Tyxdyyxdx ),(),,( - vecteur de déplacement d’un macrobloc

),( yx - coordonnées du centre du macrobloc par rapport au centre de l’image


11/04/23

Formulation au sens des moindres carrées

VHZ - équation du modèle

- vecteur de mesures (2N) TNN dydydydxdxdxZ ,...,,,..., 2121

NN

NN

yx

yxyx

yx

H

1000..................

10000001..................0001

11

11

- matrice d’observation (2Nx6)

654321 ,,,,, aaaaaa - vecteur des paramètres du modèle à estimer

V - bruit d’observation


11/04/23

Solution par la méthode des moindres carrés pondérés.

- solution au sens des moindres carrés pondérés

- matrice des poids

- vecteur des mesures estimées

WZHWHHTT 1

ˆ

N

Nw

w

ww

W

212

21

0...000...00...............00...000...0

ˆ HZ

iii zzr ˆ - erreur résiduelle


11/04/23

Résultats de l’estimation

amodel: 6.4898,-0.0089,-0.04925.1634,-0.0598,-0.0098

mse1: 21.8697mse2: 12.5257C =15.0831

Le mouvement de rotation et de transaltion. (L’Homme de Tautavel)


11/04/23

Detection du changement des plans (1)

Caractéristiques du changement de plan-l’augmentation du nombre des blocs –intra (Q)-l’erreur d’estimation du modèle globale augmente (MSE)-les paramètres du mouvement de la caméra sont changés (a)

an(k) =|an(k) – an(k-1)|, n=1,…6

6

1

* )(1)(n

n kakA

Fonction-mélange )()1)()(1)(()( kAkMSEkQkD

avec

meannn aa /*


11/04/23

Detection du changement des plans (2)Exemple du comportément

15031428 1602 1668 1767 1947 2046 2112 2190 2262 2049


11/04/23

Detection des maxima de la fonction - mélangeDetection “off-line”

1) Detection du maximum global pour l’ensemble du fragment vidéo traité

2) Hypothèse de la distribution gaussienne des mesures D à l’intérieur d’un plan

3) Test des “outliers positifs” par rapport à la distribution courante

4) Confirmation par “le rapport de forces”


11/04/23

Detection des maxima de la fonction - mélangeDetection “off-line”

1) Après avoir détécté le Max global on calcule les paramètres de la distribution gaussienne sur l’intervalle [imax+1, imax +L] :

2) Définition du seuil de rejet :

LDLD ,,,

LDkLD ,,

3) Indice i est retenu comme la frontière du plan si

et4) Max global <-Max courant et recommencer 1)

LiiiD max,)( tRatioPeakDesceniDiD )(/)( max


11/04/23

Detection des changement des plans sur les images I

0 1 2 3 4

i

P. Kraemer, J.Benois, J._Ph. Domenger,2004

Principe :

-Décodage des images intra-codées du flux compressé à fable résolution (DC),

-retro-projection des pixels conformes au model du mvt global DCn+k -> DCn

-calcul de la mesure de similarité et décision sur le changement


11/04/23

Exemple de rupture du contenu

0 1 2 3 4

Avec coupure :


11/04/23

Effets d‘aliasing : Mesures habituelles sont inefficaces

Nouvelle mesure de similarité

2

),(

)),,(),,((||

1)( nyxDCknyxDC

VknMSE

Vyx

))(var())(var(

))(),(cov()(

nDCknDC

nDCknDCknCorr

Mesure de Similarité


11/04/23

Mesure de similarité des images I

2

),(

2 ))),,(),,(((),,(||

1)( nyxDCknyxDCnyxw

VknWMSE

Vyx

sinon1

||),,(||si||),,(||),,(

tnyxnyx

tnyxw

|)],[,1]([),1][],([|

|),1][,1]([)],[],([|||),,(||

nyxDCnyxDC

nyxDCnyxDCnyx

Erreur quadratique pondérée par le contraste local :


11/04/23

Mesure de Similarité des images I

Fonction de pondération w

Non pondérée Pondérée t=12.75


11/04/23

Performances. TREC VIDEO 2004 : Tâche Changement des plans

Tests grandeur réelle 80 heures de la vidéo =7.200.000 frames

TV ABC et CNN

9/19 participants

Temps de calcul 4/19

L. Primaux, J. Benois, 2004


11/04/23

Caractérisation et segmentation du mouvement

Problème : qualifier le mouvement de la caméra et segmenter en micro-plans

1. Reformulation du modèle du mouvement affine complet du 1er ordre

2. Estimation du modèle simplifié (4 paramètres) PTZ

yaxaayxdy

yaxaayxdx

654

321

),(

),(

Thyphyprotdivaa 2141 ,,,,,

6221 aadiv 352

1 aarot 621 21 aahyp 532 2

1 aahyp

Trotdivaa ,,, 415362 , aarotaadiv


11/04/23

Tests des hypothèses statistiques sur la signification des paramètres du mouvement

H0 : le paramètre considéré ai est significatif

H1 : ai=0.

En supposant les distributions gaussiennes des erreurs d’estimation

A

H

HdSii

dSii

d rrN 0

1

21

20 lnln

2

ril - erreurs résiduels par

rapport au modèle


11/04/23

Deformation Translation Movement de la caméra

(0,0,0,0) (0,0) Caméra statique

(0,0,0,0) (0,0) Panoramique ou translation latérale le fond est parallèle au plan focal

(div,0,0,0) Zoom ou travelling in/out

(0,rot,0,0) Rotation relative to OA

(div,rot,0,0) Combination des deux précédents

(div,rot,hyp1,hyp2) Translation avec le fond non-parallèle au plan focal

D’après P. Bouthemy, M. Gelgon


11/04/23

La mise en œuvre sur FO MPEG2 (Durik, Benois)

Caméra statique


11/04/23

3.2.2.Méthodes par caractérisation globale du mouvement dans le domaine des transformées

Transformées tomographiques spatio-temporelles :

les images « X-ray »

dxtyxItyIx ),,(),(

dytyxItxIy ),,(),(

CERIMES ©


11/04/23

Caractérisation globale du mouvement de la caméra (Ph. Joly, Ph. Aigrain)(I)

Principe : caractérisation du mouvement de la caméra par le géométrie des objets dans des images X-ray

t1t2

Mouvement de la caméra panoramique

K=t2-t1+1

fwtpp 21

w -vitesse angulaire du mouvement de la caméra-la focalef

p-position horizontale/verticale sur l’écran

Tous les traces de pixels ont le même angle


11/04/23

Exemples

Plan statique

Iy


11/04/23

Caractérisation globale du mouvement de la caméra(II)

Zoom – in / out

12 pfvtfp

-vitesse du changement de la focale

-la focale

v

f

-dans le cas du panoramique et zoom le déplacement sur l’écran ne dépend pas de la distance de l’objet par rapport à l’écran

K=t2-t1+1Toutes les traces des pixels à la même position on le même angle


11/04/23

Performances

L’approche typiquement « offline » - nécessite le cumul de la vidéo

-Impossible de détecter les micro-plans courts ( sensibilité de la transformée de Hough)

-Difficultés dans le cas des objets en mouvement,

des effets de transition

Documents

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 3.2. Caractérisation du mouvement et méthodes par comparaison du mouvement - Présument une