Mesure de la Qualite d’Expérience du son spatialisé ...bili-project.org/wp-content/uploads/2015/06/JISFA_RozennNicol_201… · enregistrement du signal capté par l’électrode

diffusion libre

Mesure de la Qualite ́ d’Expérience du son spatialisé : exemple du son binaural avec le projet FUI « BiLi » Orange Labs Rozenn Nicol, Laetitia Gros, Cathy Colomes, Pierre-Yohan Michaud

Recherche & Développement 28/05/2015, JISFA

2 diffusion libre

Contexte: le Projet « BiLi »

§  Principaux objectifs ü  développer des outils de binauralisation personnalisée de

contenus audio multicanaux –  "binauralisation" = créer des haut-parleurs virtuels pour une

écoute sur casque §  permet d'adapter un contenu 5.1 (ou 7.1/ 10.2/ 22.2/ HOA)

à une écoute sur casque §  pour faciliter la démocratisation de l'audio multicanal §  car ne nécessite pas d'équipement supplémentaire

–  "personnalisée" = utiliser les HRTF individuelles de l'auditeur §  pour une immersion optimale

ü  proposer un standard de format d'échange des données HRTF –  pour faciliter la percée industrielle/ professionnelle du binaural

Orange Labs - Recherche & Développement - titre de la présentation – date

3 diffusion libre


§  Partenaires du projet

ü France TV (lead) ü RF ü  IRCAM ü CNSMDP ü LIMSI ü A-Volute ü Arkamys ü Trinnov


4 diffusion libre


§  6 Sous-Projets

–  SP1: Méthodologie & évaluation de la qualité d’expérience binaurale

–  SP2: Production de contenus de référence –  SP3: Standardisation des fichiers de caractérisation

des HRTF –  SP4: Acquisition/Génération des HRTF individualisées –  SP5: Démonstrateurs de restitution binaurale

personnalisable –  SP6: Valorisation et dissémination


5 diffusion libre Orange Labs - Recherche & Développement - titre de la présentation – date

QoE du son spatialisé

6 diffusion libre

Qualité d’Expérience (QoE) du son spatialisé?

§  évaluer la perception par un auditeur de la reproduction audio 3D d’une scène

§  2 questions à résoudre

1) identifier les dimensions perceptives représentatives de la perception

–  par ex, 2 dimensions sont bien connues: –  la restitution du timbre –  le rendu de la position des sources

–  mais, potentiellement, il en existe d’autres: –  immersion, naturel, émotion …

2) se doter de méthodes pour « mesurer » la perception selon ces différentes dimensions


7 diffusion libre

QoE du son spatialisé: quelles dimensions perceptives?

§  outils pour identifier les dimensions perceptives

–  MDS (Multi Dimensional Scaling) –  mesure de dissimilarité entre stimuli

–  exploration verbale pour décrire la perception –  par ex: Descriptive Analysis (DA), Repertory Grid Technique (RGT),

Free-Choice Profiling (FCP) §  de nombreux attributs perceptifs déjà répertoriés

–  liés à la physique, par ex: –  timbre –  position de la source

–  coordonnées sphériques, facilité à localiser, externalisation –  étendue spatiale de la source –  effet de salle

–  mais aussi liés aux processus cognitifs et affectifs, par ex: –  naturel, lisibilité, émotion


8 diffusion libre

QoE du son spatialisé: quelles dimensions perceptives?

§  un exemple: SAQI (Spatial Audio Quality Inventory, Projet SEACEN)

–  « a consensus vocabulary for the perceptual assessment of virtual acoustic environments (VAEs), or of Spatial Audio technology in general »

–  « to allow qualitatively differentiated assessments of unimodal or supramodal auditory differences between technically generated acoustic environments (VAES) as well as with respect to a presented or imagined acoustic reality »

–  liste de 48 descripteurs verbaux d’attributs perceptifs –  8 catégories: timbre, tonalness, geometry, room, time

behavior, dynamics, artifacts, general impressions –  initié en allemand

–  traduit en anglais –  traduction en français en cours


Lindau et al., 2014

9 diffusion libre

QoE du son spatialisé: quelles méthodes de mesure?

§  mesure directe d’un attribut perceptif sans référence

–  choix de l’échelle d’évaluation et de sa graduation –  exemples

–  caractérisation de la qualité acoustique d’une salle (par ex: presence, room effect, reverberance, …)

–  test de localisation absolue §  mesure directe d’un attribut perceptif avec référence

–  comparaison du stimulus à évaluer avec une référence –  possibilité de compléter avec des ancres

–  exemples –  test AB, ABX, MUSHRA –  test de localisation relative (pointeur acoustique)


10 diffusion libre

QoE du son spatialisé: quelles méthodes de mesure?

§  mesure indirecte

–  mesure à travers la réalisation d’une tâche –  le succès de la tâche renseigne sur la perception

–  mesures physiologiques –  déduire l’état psychologique (cognition, comportement,

émotion, …) des réponses physiologiques du sujet –  par ex: activité électrodermale, pulsation cardiaque,

température de la peau, activité des yeux –  observation de l’activité cérébrale

–  IRM, électroencéphalogramme, magnéto encéphalogramme, …

–  problème: équipements peu compatibles avec la reproduction/ écoute de sons



QoE du son spatialisé dans BiLi

12 diffusion libre


§  approches « conventionnelles »

–  validation des bases de données de HRTF individuelles mesurées –  test de localisation absolue

–  choix de la méthode de report du jugement de localisation (H. Bahu & O. Warusfel, IRCAM)

–  évaluation des HRTF modélisées par les différentes solutions de personnalisation –  test de localisation relative


13 diffusion libre


§  approches plus « originales »

–  évaluation de la qualité de trajectoires spatiales (A. Andreopoulou& B. Katz, LIMSI) –  comparer des jeux de HRTF individuelles et non individuelles –  évaluer l’impact de traitements (par ex. modélisation par des filtres) sur les

HRTF –  application de casques cérébraux grand public à la mesure de QoE du

son binaural (A. Boisadan, L. Gros & R. Nicol, 2014) –  identification des attributs perceptifs relatifs à des HRTF non

individuelles –  comparaison de sons « binauralisés » par différents jeux de HRTF non

individuelles –  2 études: exploration verbale (L. Simon & B. Katz, LIMSI)/ MDS (PY.

Michaud & R. Nicol, Orange) –  comparaison de systèmes de prise de son en vue d’une binauralisation

(CNSMDP, RF, Orange) –  2 tests combinant différents protocoles (report graphique de trajectoires,

jugement de préférence, évaluation multi critères) Orange Labs - Recherche & Développement - titre de la présentation – date

14 diffusion libre


§  approches plus « originales »

–  évaluation de la qualité de trajectoires spatiales (A. Morjopoulos & B. Katz, LIMSI) –  comparer des jeux de HRTF individuelles et non individuelles –  évaluer l’impact de traitements (par ex. modélisation par des filtres) sur les

HRTF –  application de casques cérébraux grand public à la mesure de QoE du

son binaural (A. Boisadan, L. Gros & R. Nicol, 2014) –  identification des attributs perceptifs relatifs à des HRTF non

individuelles –  comparaison de sons « binauralisés » par différents jeux de HRTF non

individuelles –  2 études: exploration verbale (L. Simon & B. Katz, LIMSI)/ MDS (PY.

Michaud & R. Nicol, Orange) –  comparaison de systèmes de prise de son en vue d’une binauralisation

(CNSMDP, RF, Orange) –  2 tests combinant différents protocoles (report graphique de trajectoires,

jugement de préférence, évaluation multi critères) Orange Labs - Recherche & Développement - titre de la présentation – date


Application de casques cérébraux grand public à la mesure de QoE du son binaural

16 diffusion libre

Application de casques cérébraux grand public à la mesure de QoE du son binaural

§  casque Mindwave de Neurosky

§  comparaison de sons monauraux et binauraux (prise de son KU100 Neumann©)

–  4 extraits: sèche cheveux, orage, route, pièce dramatique

§  15 participants

§  enregistrement du signal capté par l’électrode

–  estimation de 2 indicateurs: « Attention » et « Méditation »

–  questionnaire en complément §  résultats

–  pas d’effet significatif de la version (monaurale/ binaurale)

–  effet significatif de l’extrait sur l’indicateur « Méditation »

Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015

prochaine étape: capteurs EEG à haute résolution (collaboration avec Univ. Rennes 1)

A. Boisadan, L. Gros & R. Nicol, 2014


Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles

18 diffusion libre


§  Objectif:

–  comparer la perception entre HRTF pour une large palette de HRTF non individuelles (46 jeux de HRTF – BDD « Listen » / IRCAM)

–  recueillir des jugements de dissimilarité entre ces 46 jeux –  construire l’espace perceptif associé par une analyse MDS (Multi

Dimensional Scaling) –  identifier le nombre de dimensions –  identifier l’(es) attribut(s) perceptif(s) associé à chaque dimension


PY. Michaud & R. Nicol, 2014

A D

B

C

A B C D A B C D

Matrice de dissimilarité

Espace multidimensionnel

MDS

19 diffusion libre


§  stimuli sonores

–  extrait d’une émission radio (« Interception ») –  format 5.1 –  converti au format binaural en synthétisant des haut-

parleurs virtuels par synthèse binaurale –  46 versions de l’extrait

–  pré-traitements –  pour chaque jeu d’HRTF, l’ITD est remplacée par une ITD

moyenne –  égalisation en sonie (indicateur « N10 ») des stimuli

§  10 participants

–  de type experts: ingénieurs du son (RF, FTV, CNMSDP), chercheurs en audio 3D (Orange, LIMSI)


20 diffusion libre


§  protocole expérimental

–  méthode SPPR –  Similarity Picking with Permutation of References –  au lieu de présenter des paires de stimuli à comparer

–  pour M = 46 versions: M(M-1)/2 = 1035 paires! –  on présente au sujet un ensemble de 4 stimuli (« tétrade »)

–  1 stimulus de référence –  3 stimuli à comparer

–  seulement 3 en raison des limites de la mémoire auditive –  le sujet doit choisir parmi les P=3 stimuli, celui qu’il perçoit

comme le plus similaire à la référence –  nombre de tétrades à évaluer : M(M-1)/3 = 690

–  en moyenne 6-7 heures de test pour un sujet –  avantage: chaque stimulus sert de référence à tour de rôle


PY. Michaud, 2013

21 diffusion libre



22 diffusion libre Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015


§  analyse MDS de la matrice moyenne de dissimilarité

4 dimensions identifiées

•  dim. 1: modification spectrale (quantité d’aigus)

•  dim. 2: notion d’espace/ volume/ largeur de scène

•  dim. 3: barycentre spatial

•  dim. 4: profondeur/ distance des objets

23 diffusion libre Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015


§  analyse MDS de la matrice moyenne de dissimilarité

4 dimensions identifiées

•  dim. 1: modification spectrale (quantité d’aigus)

•  dim. 2: notion d’espace/ volume/ largeur de scène

•  dim. 3: barycentre spatial

•  dim. 4: profondeur/ distance des objets

lien avec l’étude par exploration verbale (L. Simon & B. Katz, LIMSI), limitée à 7 HRTF

•  12 attributs •  Externalisation •  Immersion •  Modification spectrale (grave/ aigu) •  Réalisme •  Profondeur du champ sonore •  Précision de la localisation •  Position latérale •  Elévation •  Position avant/ arrière •  Réverbération •  Niveau sonore •  Profondeur

24 diffusion libre


§  2nde expérience –  réduction par similarité des 46 jeux

de HRTF à 19 –  durée du test: 1-1h30

–  2 extraits –  émission radio (« Interception »)

–  prise de son 5.1 –  création TV (ambiance nature: orage, chien, oiseaux)

–  mixage binaural de sons monos –  auditeurs de type naïf

–  extrait 1: 12 participants/ extrait 2: 11 participants –  résultats: 3 dimensions identifiées


extrait 1 •  Balance spectrale

(quantité d’aigus) •  Notion d’espace/ Largeur

de scène (frontale) •  Barycentre spatial

extrait 2 •  Balance spectrale (quantité

d’aigus) •  Notion d’espace/ Largeur de

scène (espace supérieur) •  Sensation de réverbération /Echo


Comparaison de systèmes de prise de son

26 diffusion libre


§  enregistrement d’une séquence d’une pièce de R. de Obaldia (« Deux femmes pour un fantôme ») au CNSMDP

–  14 systèmes de prise de son (enregistrements séquenciels) –  Tête Neumann KU 100, 2 têtes « fait maison » –  Eigenmike, Soundfield® –  stéréo: XY, AB –  Arbre 5 DP4 4041 (Decca Tree + MMAD) –  DPA 5100 –  Arbre 8 MK21 / Arbre 8 MK5 –  MMAD MK21 / MMAD MK5 –  croix IRT


27 diffusion libre


§  Objectif

–  comparer la robustesse des prises de son après binauralisation –  les enregistrements Ambisonics / stéréo / multicanaux sont mixés

avec la consigne d’obtenir le meilleur rendu §  2 tests

–  écoute d’une séquence longue (1min40sec) –  report graphique des positions et trajectoires des sources

sonores –  questionnaire court (réalisme, sensation d’espace, distance)

–  comparaison par paire d’extraits courts (20sec) –  choix d’une référence: KU100 –  jugement de préférence (échelle à 7 degrés, de -3 à +3) –  questionnaire étendu à la fin du test

–  liste de 10 attributs + informations générales

§  tests en cours –  résultats à venir…



Conclusion

29 diffusion libre

Conclusion

§  la perception du son binaural, en général et en particulier dans le cadre du Projet BiLi, appelle de nombreuses questions:

–  comment évaluer les « performances » de HRTF personnalisées? –  est-il possible de trouver dans une base de données de HRTF, si elle est

suffisamment étendue, un jeu de HRTF non individuelles qui me conviennent aussi bien que mes HRTF individuelles?

–  peut-on ajuster le niveau de personnalisation en fonction de l’application? –  par ex. jeu vidéo vs VOD

–  quel est l’apport de la personnalisation relativement au head-tracking? –  comment en synthèse binaurale peut-on se rapprocher de la qualité

d’immersion d’un enregistrement par une tête artificielle? –  comment améliorer l’externalisation? –  quelle est l’influence de la chaîne technique de reproduction sur la

perception? –  comment obtenir des mesures objectives corrélées aux attributs perceptifs?


30 diffusion libre

Conclusion

§  quelques premiers éléments de réponse…

–  fourniture au consortium d’une « trousse à outils » –  pour que chaque partenaire puisse mener ses évaluations

avec des méthodes communes –  nombre de dimensions de l’espace perceptif

–  de l’ordre de 4 dimensions –  reste à identifier les critères objectifs associés –  quelle est la position des HRTF individuelles dans cet

espace? –  plusieurs propositions de liste d’attributs perceptifs

–  à homogénéiser


diffusion libre

merci


Annexes

33 diffusion libre



34 diffusion libre



35 diffusion libre



36 diffusion libre



37 diffusion libre



Documents

Mesure de la Qualite d’Expérience du son spatialisé ...bili-project.org/wp-content/uploads/2015/06/JISFA_RozennNicol_201… · enregistrement du signal capté par l’électrode