Les nouvelles dimensions de l’analyse audio/vidéo

Mike Knee

Consultant Engineer

Snell

Nouvelles dimensionsL’analyse et le monitoring vidéo et audio est devenu un problème multidimensionnel- live streaming et fichiers- à proximité et à distance- gamme de tailles d’écran- gamme d’options de compression - de nombreux paramètres à surveiller- vidéo et audio ensemble- 3D stéréoscopique

Introduction

• QC – qu’est-ce que c’est?• Le monde multidimensionnel de l’analyse vidéo et audio• Monitoring vidéo et audio – intégrité et contenu• Challenges de monitoring du contenu pour des écrans

multiples• Lip-sync (synchro labiale)• Le suivi des changements de taille et de forme• Mesure objective de la qualité• Faire que les machines regarde la télé 3D pour vous• Surprise!

Quel est QC?

Monitoring

vidéo

audio

métadonnées

Action passer à une chaîne

de sauvegarde

remise à neuf

action contractuelle

Présentationenregistrement

alarmes

vignettes

multiviewer

automatique

Un monde multidimensionnel

fichiers

à proximité

emplacement à distance

taille d’écran

non compressé

compressionbas débit

videoaudio

œil gauche

vidéo

œil droit

live streaming

Monitoring dans le contexte

correction

analyse analyse

correction

ajouter des métadonnées

analyse

lire les métadonnées

analyse comparer

Monitoring vidéoÉtat et standard de l’entrée

Qualité du signal (rapports CRC/EDH)

Niveau de mouvement « Stillish »

Détection d’image gelée (exacte et visuelle)

Noirceur d’image « Blackish » et noir numérique

Détection de AFD / barres latérales « letterbox/pillarbox »Niveau moyen d’image

Limites hautes/basses de Luma/Chroma, débordement/soupassement

Rapports gamut RVB et sa légalisation

Précision de la vidéo

Mesures multi-régions

Vignettes vidéo par TCP/IP

Rapports d’état et mesures par OSD

Monitoring du contenu

Traitement d’images

Monitoring de l’intégrité

Traitement des données

Présence audio

Détection de catégorie audio(PCM, Non-PCM, Dolby E, AC3, MPEG Audio (SMPTE 338M)

Précision audio

Comptage de niveau audio

Silence, Calme, Fort

Surcharge et coupure audio

Position de la bande de garde Dolby E

Rapports de métadonnées Dolby (Program Configuration / Dialnorm)

Audio déphasée (polarité)

Detection Mono/Stéréo

Monitoring audio

Contentmonitoring

Signalprocessing

Integritymonitoring

Dataprocessing

Monitoring du contenu

Traitement d’images

Monitoring de l’intégrité

Traitement des données

SMPTE UMID (insérer, signaler et supprimer)

PID / House Number watermarking (insérer, signaler et supprimer)

Détection de sous-titrage « Closed Captions » (CEA608, CEA708)

AFD - WSS, VI, SMPTE 2016

Indicatif de contenu (XDS, V-chip)

ANC Timecode (720p, 1080i)

VITC Timecode (525, 625)

Détecteurs ANC définis par l’utilisateur

Détection de sous-titres OP47/WST

Rapports de métadonnées SMPTE 2020

Rapports de durée du contenu (enregistrement de timecode)

Monitoring métadonnées

Écrans multiples – les défis

• Suivi du contenu à travers des changements de– résolution

– débit binaire de compression

– aspect d’image

– cadrage

• Formats multiples de fichiers, signaux et métadonnées

• Distinguer entre les changements intentionnels et les erreurs

Lip-sync

PropriétairesEn cours de normalisation(SMPTE TC-24TB-01 AHG on Lip Sync)

empreinte audio

empreinte vidéo

comparer des

empreintes

corriger

corrigerempreinte

audio

empreinte vidéo

formatage des

métadonnées

audio

vidéo

audio

vidéo

Suivi de taille et de forme

« Kitelets » (petits cerfs-volants!)

plus de kitelets en amontmoins de kitelets en aval

Kitelets

Mesure objective de qualité

Voir www.vqeg.org

Mesure de conversion de standards

• Faire une comparaison entre des mesures d’activité des gros blocs de l’image

• Détecter un comportement périodique dans la différence entre les mesures

• Détecter une augmentation inattendue de l'activité, qui pourrait être due à des artéfacts

Mesure de conversion de standards

Mesure de conversion de standards

20

22

24

26

28

30

32

34

36

38

40

build

ings

train_

text

garde

ntra

in_se

tint

erview gir

lten

nisath

letics

table_

tennis

stree

t1str

eet2

sprin

gboa

rdtig

erba

nners

guita

rwhe

elba

llet

rugby

black

board

stree

t3foo

tball

water

mobca

lflo

wers

qual

ity m

easu

re

Converter AConverter BConverter C

3D stéréoscopique

• Détection de formats

• Correspondance de couleurs, niveaux, …

• Synchronisation temporelle

• Analyse de profondeur ou de disparité– monitoring de la disparité

– champ de disparité dense

• Détection d’échange droit-gauche

• Détection de conversions 2D-3D« Faire que les machines

regardent la télé 3D pour vous »

Synchronisation temporelle droit-gauche

Empreintes vidéo

Analyse de profondeur / disparité

• Avertissement d’éventuelle fatigue oculaire– trouver les extrémités de disparité

– dépendance de taille d’écran

• Vérification 3D– profondeur de la 3D

• Déformations géométriques entre les 2 canaux – détecter et corriger

• Insertion de légendes/sous-titres à profondeur appropriée

Affichage de disparité

Champs de disparité denses

gauche à droit droit à gauche

occlusions

SMPTE TC-10E AHG on Disparity Map Representation

Détection d’échange droit-gauche

AB

œil gauche œil droit

plan

fond

B

A

B occlusion (région vue par B seulement)

A occlusion (région vue par A seulement)

Seam Carving « découpage de veines »

• Une méthode de réduction de la largeur d'une image pixel par pixel respectueuse du contenu

• Trouver une veine (ligne connectée de pixels de haut en bas) d’activité minimum

• Supprimer tous les pixels de la veine pour rétrécir l'image d'un pixel

• Répéter l'opération jusqu'à ce que la taille désirée soit atteinte

Seam carving pour des images statiques

Seam carving pour des images animées

original

nonrécursif récursif

Seam carving pour des images animées

non récursif

récursif

Seam carving compensé en mouvement

non compensé en mouvement

compensé en mouvement

Démo de seam carving