40
Anaïs LIBOLT Dolby L’expérience audiovisuelle nouvelle génération 27 Novembre 2012

Nouvelle experience audiovisuelle

  • Upload
    diginov

  • View
    610

  • Download
    1

Embed Size (px)

DESCRIPTION

 

Citation preview

Page 1: Nouvelle experience audiovisuelle

Anaïs LIBOLT Dolby

L’expérience audiovisuelle nouvelle génération

27 Novembre 2012

Page 2: Nouvelle experience audiovisuelle

Sommaire Postulat sur la qualité audio

Over-The-Top et HbbTV

Expériences nouvelle génération

2

Page 3: Nouvelle experience audiovisuelle

C’est un élément différenciant dans l’expérience

Postulat sur la qualité audio

Page 4: Nouvelle experience audiovisuelle

P R O P R I E T A R Y + C O N F I D E N T I A L 4

“Long ago we realized sound was your “special friend” because sound does at least 50% of the job.” – Francis Ford Coppola, Director

P R O P R I E T A R Y + C O N F I D E N T I A L 4

Page 5: Nouvelle experience audiovisuelle

Windows Phone 7

La qualité audio a de l’importance

5

Audio Engineering Society “The Influence of Individual Audio Impairments on Perceived Video Quality” 2010

Higher quality audio can compensate for degradations in the video image. Less likely to consider an image impaired with higher quality audio. Viewers perception of the video quality is higher when audio quality is not impaired.

Highest correlation with picture quality satisfaction is audio quality satisfaction (compared to Brand, screen size & warranty) Correlation is .806 (-1 to +1)

IDC: ConsumerScape 360

Page 6: Nouvelle experience audiovisuelle

Windows Phone 7

Même les grands le disent…

6

“sound is half the experience” – George Lucas

Page 7: Nouvelle experience audiovisuelle

Over The Top La valse des formats

Page 8: Nouvelle experience audiovisuelle

Etat des lieux Problème: + de 20 plateformes technologiques différentes pour l‘OTT

Pas ou peu de capacité au multicanal

Quasiement aucune interopérabilité – beaucoup de fossés à combler!

8

L’absence d’un standard universel de distribution aux appareils connectés résulte en une fragmentation de la compatibilité des formats.

Page 9: Nouvelle experience audiovisuelle

Windows Phone 7

Over-The-Top - considérations Le réseau n’est pas toujours maîtrisé et la Bande passante est disponible de manière

"aléatoire" => objectif de maintenir la QoE au mieux, parfois seulement la QoS…

Quand les débits deviennent très faibles, on a le problème d’un contenu sous-dimensionné pour le récepteur.

Besoin de maintenir la qualité maximum car on ne sait pas toujours comment est échangé le contenu. La HD peut être lue sur un appareil SD puis transférée sur un appareil HD…

Garantir un audio de qualité maximise l’expérience utilisateur.

9

Page 10: Nouvelle experience audiovisuelle

Windows Phone 7

Interopérabilité Le challenge de l’intéropérabilité pour un fournisseur de technologie dans un monde multi-devices

Ce challenge a toujours existé entre le contenu et l’appareil de restitution. Les fournisseurs de contenu souhaitent un maximum d’inrteropérabilité (pour le coût), le consommateur aussi, mais les fabriquant d’appareils CE souhaitent se différencier à leur façon. Ex dans l’histoire: les jeux PC associés à des cartes graphiques, PC & Mac…)

Mais maintenant nous avons du contenu qui doit couvrir beaucoup de catégories d’appareils!

10

Page 11: Nouvelle experience audiovisuelle

Windows Phone 7

Interopérabilité

PC, consoles de Jeux, Media server, mobile, tablette, TV connectée…

La fragmentation des formats doit être transparente pour le consommateur. Mise en avant de l’expérience.

Ce que l’on peut attendre d’une expérience mobile: Rendu surround pour donner l’expérience d’immersion Gestion du loudness et contrôle de la dynamique Traitements et EQ très complets pour une restitution audio haute fidélité

11

Page 12: Nouvelle experience audiovisuelle

Interopérabilité - raisons Diffuseurs, opérateurs, startups de VoD, media markets…, offrent des

services de VOD Differentes priorités selon le vecteur (PC, Smartphones, Tablettes, TVs,

consoles) Préférence pour une plateforme techno ou une autre

Dépendances – Quel format peut être délivré à quel appareil? E.g. Formats et DRM différents pour iOS que pour HbbTV ou pour

plateforme SmarTV

12

Page 13: Nouvelle experience audiovisuelle

CONFIDENTIAL INFORMATION

13

C

onte

nt

Serv

ices

N

etw

ork

Plat

form

s

UGC Music OTT O

S an

d Si

licon

D

evic

es

Device OS’s PC OS’s

CE Mobile Phones PC’s

Open OEM Proprietary

Tablets

Silicon

Services

Mobile

Page 14: Nouvelle experience audiovisuelle

Encodage du contenu et sécurité Encodage du contenu en de multiples versions, pour des appareils

spécifiques (codecs, résolution…), pour de l’adaptive streaming…

Encoder le contenu pour différents systèmes de distribution: Adobe, Microsoft, Widewine, Apple, HbbTV…

DRM: Adobe, Microsoft, Apple, Marlin, Widewine, OMA,… En général pas de CA broadcast (peu flexible)

14

Page 15: Nouvelle experience audiovisuelle

Distribution par des apps Les méthodes de distribution traditionnels dans l’écosystème des

applications sont: Progressive download; principalement MPEG4(H.264) Adaptive Streaming: HLS Smooth Streaming MPEG-‐DASH (nouveau beaucoup de fournisseurs de services se sont

engagés à le supporter)

15

Page 16: Nouvelle experience audiovisuelle

Une multitude de formats de containers

16

PIFF

ISO Base Media File Format (MP4 File Format)

CFF

F4F

DASH Profile

MPEG 3GPP MBMS PSS

MPEG-2 TS

Differences..? a.) Manifest b.) Container Details

HLS HAS

Simple ISO-FF

Page 17: Nouvelle experience audiovisuelle

Interaction Serveur – Client

17

Page 18: Nouvelle experience audiovisuelle

Exemple d‘un fichier de manifest pour MPEG DASH

18

Page 19: Nouvelle experience audiovisuelle

.

DASH ISOBFF Live Streaming Profile DASH Manifest

XML

Adaptation Set

A set of interchangeable encoded versions of one or several media content components.

Adaptation Set: English English Language Language 5.1 DD+@348k, @192k

German Language 5.1 DD+@256k

Video 720p@25 3MBit/s

Video 1080p@50 7MBit/s

Video 640p@25 1.8MBit/s

Video 320p@25 500kBit/s

Smallest addressable unit in an MPD with a defined format.

Segment:

Initialisation Segment file suffix = file.mp4

Media Segment file suffix = file.m4s

Collection and encapsulation of one or more media streams in a delivery format and associated with descriptive metadata.

Representation:

Media Presentation Description Provides a formalized description for a Media Presentation for the purpose of providing a streaming service. file suffix = file.mpd

Collection of data that establishes a bounded or unbounded presentation of media content.

Media Presentation:

Media Content Component representing one media track

Cette image montre une représentation de DASH

One continuous component of the media content with an assigned media component type that can be encoded individually into a media stream.

Content Component:

English Language 2.0 HE-AAC@64k

Each one of all these colored blocks is an individual file!

Page 20: Nouvelle experience audiovisuelle

Windows Phone 7

Fragmentation et complexité

20

Complexité = Ecosystème x Protocole x DRM x Client x Device

HLS

Smooth

DASH

CFF

TS DVB CAS STB Client IPTV/DBS/Cable 3

432+

Page 21: Nouvelle experience audiovisuelle

Windows Phone 7

Mise en oeuvre

CONVERGED HEAD-END

BROADCAST SD/HD

MULTISCREEN SD/HD

IRDs

Ingest

Ingest/Playout Server

Capture

Delivery

DTH Terrestrial

Cable Telco

BROADCAST

MULTISCREEN

OTT

Page 22: Nouvelle experience audiovisuelle

Windows Phone 7 22

Multiscreen End-To-End Workflow

Page 23: Nouvelle experience audiovisuelle

Windows Phone 7

Atouts du Dolby Digital Plus pour le multi-screen Ecosystème contrôlé car toutes les implémentations sont fournies et

approuvées par Dolby (vs He-AAC)

Support des métadonnées

Support dans les nouveaux formats.

Support de l’Adaptive streaming: le débit peut changer dynamiquement sans interruption de son

Documentation et fichiers de tests disponibles pour les principaux formats (DASHG, HLS, Smooth Streaming)

Page 24: Nouvelle experience audiovisuelle

Mise en place de l’écosystème Dolby Digital Plus en OTT

Ingest/QC Encoding/DRM Distribution

Maintenir la qualité maximale du contenu à l’ingest et à l’encodage (ex: loudness) Aider à construire des

produits qui supportent le DD+ dans tous les types de containers et formats

Enco

ding

so

lutio

ns

Assurer la compatibilité de l’intégration de Dolby Digital Plus auprès des fournisseurs DRM

Assurer la distribution possible des nouveaux formats

Tests pour que les nouveaux formats de containers intègrent DD+ et soient compatibles avec les récepteurs

Page 25: Nouvelle experience audiovisuelle

Windows Phone 7

Smooth Streaming support for DD+ Smooth Streaming support

for DD+

1+ Milliards d’appareils disponibles

Dolby Digital Plus UV CFF Playback

Atouts du Dolby Digital Plus pour le multi-screen

Page 26: Nouvelle experience audiovisuelle

Exemple de service en DD+

Page 27: Nouvelle experience audiovisuelle

.

Dolby Digital Plus – préparer l’encodage Connaître les caractéristiques du réseau utilisé pour transférer le contenu et ses

limitations, &.e. mobile (maillon le plus faible)

Anticiper les variations de bande passante et le débit nécesaire pour maintenir une qualité de service et une qualité d’expérience en audio.

Channel configuration définie par le fichier source

Langues et audio description

Dialnorm renseigné correctement en fonction du loudness

QC workflow

CONFIDENTIAL INFORMATION 27

Page 28: Nouvelle experience audiovisuelle

.

Dolby Digital Plus – Tester les commutations et sorties Il est important de tester les commutations audio dans les cas suivants: Logique de commutation en bande-passante d’une application; quand l’App

doit choisir le fragment approprié parmi plusieures version débits différents de la piste DD+

Commutations entre les différentes langues Configuration de la sortie au décodage et fonction pass-through sur HDMI Profilage de la vie de la batterie en fonction du mode de décodage audio

NOTE: Il est extrêmement important que les fragments de bande passante encodés ne modifient pas la Channel configuration si décodés par un récepteur A/V, car presque tous les récepteurs

basculent la sortie audio off momentanément dans ce cas, ce qui génèrera des plaintes des utilisateurs

CONFIDENTIAL INFORMATION 28

Page 29: Nouvelle experience audiovisuelle

.

Cas d’usage

Broadcast Services

Online Services

Portails en ligne Diffuseur

Online Services

Signalés par des bandeaux superposés au programme diffusé

Disponible à travers des applications

Page 30: Nouvelle experience audiovisuelle

.

Formats de fichier HbbTV For HTTP streaming HbbTV referenced dedicated file formats

HbbTV v1.0 (ETSI TS 102 796 v1.1.1)

Both MPEG-2 TS as well as plain MPEG-4 File Format can be used Realistically today only MPEG-4 File Format is used for streaming with HbbTV

HbbTV v1.5 (ETSI TS 102 796 v1.2.1)

Additionally: a modified version of the MPEG DASH “ISOBFF Live Streaming Profile”

ISOBFF = ISO Base Media File Format

Page 31: Nouvelle experience audiovisuelle

.

Pourquoi utiliser leDolby Digital Plus en HbbTV ? Si le récepteur HbbTV décode le DD+ pour le broadcast (TNT HD), il doit le

supporter pour la partie broadband.

DD+ est le seul codec dans HbbTV qui garanti le 5.1 quand c’est physiquement possible Workflows éprouvés Préviens les problèmes de loudness par les métadonnées

Dolby supporte activement les effort d‘interropérabilité dans HbbTV, dans les standards régionaux et auprès de laboratoires de tests partenaires.

Page 32: Nouvelle experience audiovisuelle

Evolutions du son et de l’image

Expériences Nouvelle Génération

Page 33: Nouvelle experience audiovisuelle

Windows Phone 7

Nouvelle generation de services audiovisuels… Métamorphose du paysage… Multiplication des vecteurs d’accès au contenu Multiplication des écrans Réseaux sociaux Maîtrise du temps personnel… qui se fait rare! Quand je veux, ou je veux, avec qui je veux: contrôle personnel

Conséquences Fragmentation de l’audience Audience plus complexe (aspects générationnels, segmentation audience) Notion d’expérience plus complexe qui doit intégrer de multiples facteurs!

Page 34: Nouvelle experience audiovisuelle

Windows Phone 7

Ce qui définit l’expérience Facteurs intrinsèques J’aime ce film, cet acteur, ce type de documentaire, ce show, ce groupe de

musique, etc… Peu importe comment je “recupère” le contenu, je veux le voir! Et je veux le voir selon mon envie du moment, là où je suis! Registre émotionnel

Facteurs extrinsèques Accès au contenu (search, recommendation) Qualité du son, de l’image Marque, confiance a priori Excacerbation du registre émotionnel: l’émotion en grand

34

Page 35: Nouvelle experience audiovisuelle

Windows Phone 7

Valorisation de l’expérience Par rapport aux facteurs intrinsèques Qualité du catalogue, Fonctionnalités du service, Audience visée

Par rapport aux facteurs extrinsèques Confort, qualité du son et de l’image, simplicité, continuité Marques reconnues comme gage de référence

L’équilibre définit le niveau possible de satisfaction de l’audience et donc de monétisation

Nouvelle experience Nouveaux services doivent maximiser l’ensemble des facteurs d’expérience pour être

différentiants… et générer de l’audience Dolby présent sur la restitution conforme de l’intention artistique (registre emotionnel) et

sur la restitution du maximum du potentiel de l’équipement personnel

35

Page 36: Nouvelle experience audiovisuelle

Windows Phone 7

Expériences nouvelle génération L’image évolue vers 4K et Ultra HD, avec ou sans 3D

L’audio évolue vers l’audio 3D

L’expérience doit être différente pour le spectateur, pas seulement plus de définition

4k permet plus de contraste, une plus large palette de couleurs, une meilleure 3D…

Evolutions audio vers une meilleure immersion, plus de flexibilité, un rendu adaptatif à l’installation…

36

Page 37: Nouvelle experience audiovisuelle

Windows Phone 7

Evolutions de l’audio Aujourd'hui: stéréo, 5.1 ou 7.1. Production et diffusion

du contenu maîtrisée.

Quand on parle de 9.1, 11.1, 22.2…, il faut prendre en considération: Production du contenu: Plus complexe de mixer plus

de pistes et de gérer les différents downmixes. Reproduction du contenu : Déjà compliqué avec du

5.1 ou 7.1, on ne peut pas vraiment augmenter le nombre de canaux.

37

Trouver un moyen technique de rendre l’intention artistique avec simplicité

Page 38: Nouvelle experience audiovisuelle

Windows Phone 7

Evolutions de l’audio Approche « channel based »: le codage optimise le débit par canal. Le

rendu s’adapte au système par décodage ou dématricage et downmix ou upmix.

Approche « object based »: un objet sonore est un son associé à des informations de gain et d’espace en fonction du temps. Codage des sons + métadonnées. Décodage et rendu adapté à la configuration

38

Page 39: Nouvelle experience audiovisuelle

Windows Phone 7

Approche Object based Un seul mixage pour toutes les configurations. Simplicité de la

production, efforts mis au service de l’expérience plus que de la technique.

L’audio s’adapte à la pièce plus que la pièce à l’audio! Le mixage peut se décliner en stereo, en 5.1 avec hauts-parleurs ou sound bars, au casque… L’appareil de reproduction (playback) embarque l’intelligence qui permet de restituer l’expérience et l’intention artistique.

Redéfinir les workflows pour travailler avec des objets sonores

Nécessité de définir et standardiser un format de distribution et des métadonnées

39

Page 40: Nouvelle experience audiovisuelle

40

The time is right to redefine e-media sound

MERCI !

MERCI ! MERCI ! MERCI ! MERCI !