Projet Sample OrchestratorRéunion plénière, 10 octobre 2007
SP2 - Indexation audio et navigation par le contenuEquipe Perception et Design SonoresA. Minard, N. Misdariis, O. Houix, P. Susini
Bilan des travaux effectués SP2-4 Description des sons environnementaux
D-SP2-4-1 Validation de descripteurs audio pour les sons environnementaux
D-SP2-4-2 descripteurs audio de type morphologique SP2-5 Classification des sons environnementaux
D-SP2-5-1 Définition d’un corpus représentatif et sélection des classes pertinentes
D-SP2-5-2 Organisation des classes pertinentes SP2-6 Caractérisation sémantique des sons
environnementaux D-SP2-6-1 Description sémantique des sons D-SP2-6-2 Description sémantique des classes
Bilan des travaux effectués SP2-4 Description des sons environnementaux
D-SP2-4-1 Validation de descripteurs audio pour les sons environnementaux
D-SP2-4-2 descripteurs audio de type morphologique SP2-5 Classification des sons environnementaux
D-SP2-5-1 Définition d’un corpus représentatif et sélection des classes pertinentes
D-SP2-5-2 Organisation des classes pertinentes SP2-6 Caractérisation sémantique des sons
environnementaux D-SP2-6-1 Description sémantique des sons D-SP2-6-2 Description sémantique des classes
Bilan des travaux effectués SP2-4 Description des sons environnementaux
D-SP2-4-1 Validation de descripteurs audio pour les sons environnementaux
D-SP2-4-2 descripteurs audio de type morphologique SP2-5 Classification des sons environnementaux
D-SP2-5-1 Définition d’un corpus représentatif et sélection des classes pertinentes
D-SP2-5-2 Organisation des classes pertinentes SP2-6 Caractérisation sémantique des sons
environnementaux D-SP2-6-1 Description sémantique des sons D-SP2-6-2 Description sémantique des classes
Bilan des travaux effectués SP2-4 Description des sons environnementaux
D-SP2-4-1 Validation de descripteurs audio pour les sons environnementaux
D-SP2-4-2 descripteurs audio de type morphologique SP2-5 Classification des sons environnementaux
D-SP2-5-1 Définition d’un corpus représentatif et sélection des classes pertinentes
D-SP2-5-2 Organisation des classes pertinentes SP2-6 Caractérisation sémantique des sons
environnementaux D-SP2-6-1 Description sémantique des sons D-SP2-6-2 Description sémantique des classes
Bilan SP2-4 Méta-analyse du timbre des sons environnementaux:
comparaison de 4 études du timbre. habitacles automobiles: 16 + 14 sons unités de climatisation: 19 sons klaxons: 22 sons claquements de portières automobiles: 12 sons
=> Proposition d'une organisation des sons à 2 niveaux:
Discret: classes d’événement Continu: espace multidimensionnel de timbre pour chaque
classe.
Bilan SP2-4 Niveau discret: classes d’évènements
Sons d'impact: courtes impulsions ou séries d'impulsions Sons de moteur: mélange harmonique/bruit Sons pseudo-instrumentaux: production similaire à celle des
instruments de musique, une ou plusieurs notes.
=> Prédiction des classes par un modèle de régression sur deux descripteurs
=> Validation sur un corpus élargi de 183 sons: 5% d’erreurs en moyenne
Bilan SP2-4 Niveau continu: espace de timbre
Etablir l'espace de timbre correspondant à chaque classe d’évènements. Trouver des descripteurs communs aux sons d’une même
classe. Attribut commun à toutes les classes: la brillance. Attributs propres à chaque classe: attributs liés à une
spécificité acoustique des sons.• Sons d'impacts: la netteté.
• Sons de moteurs: l’émergence harmonique.
• Sons pseudo-instrumentaux: la rugosité et la richesse spectrale.
Délivrable D-SP2-4-1 Validation de descripteurs audio pour les
sons environnementaux Implémentation: Matlab Résultats:
• Prédiction de classes d’évènements sonores à 5% d’erreurs
• un espace de timbre pour chaque classe d’évènements
Bilan SP2-6 Description et organisation perceptive des sons:
Important: un son suivant sa description appartient à plusieurs types d’organisation
Description Organisation
Acoustique Timbre, morphologie
Espace multidimensionnel de timbre
Evènementielle Cause et matériau Structure hiérarchique (squelette)
Sémantique Objet, lieu, fonction…
Réseau sémantique (hiérarchie + lien transversaux)
Bilan SP2-6 Organisation acoustique
cf. SP2-4
Bilan SP2-6 Organisation évènementielle
(issu du projet CLOSED)
Bilan SP2-6 Organisation sémantique
Vise à refléter la mémoire sémantique: la connaissance que nous avons sur le monde
Basée sur le réseau sémantique Wordnet Principe: 1 concept est vu comme:
• 1 ensemble de synonymes et d'antonymes (relations lexicales)
• 1 ensemble d'hyponymes/hyperonymes et de méronymes/holonymes (relations sémantiques)
Délivrable D-SP2-6-1 Description sémantique des sons Implémentation: - Résultats:
• Formalisme d’organisation: 3 types de descriptions pertinentes => acoustique, évènementielle et sémantique
• Pour chaque description: un type bien défini de structure
Bilan SP2-5 Exemple de navigation inter-organisation dans le corpus
sonore livré par Univers Sons
Acoustique
Evènements
Sémantique
Bilan SP2-5 Exemple de navigation inter-organisationdans le corpus
sonore livré par Univers Sons
Evènement: « impact »
Sémantique: « corridor »
Acoustique: « low/blunt », « repetition (constant) »
step
Délivrable D-SP2-5-1 Définition d’un corpus représentatif et
sélection des classes pertinentes Implémentation: - Résultats:
• Application du formalisme introduit dans le SP2-6 à un corpus et à ses classes pertinentes pour les utilisateurs
Planning prévisionnel Janvier 2008:
D-SP2-5-2: Organisation des classes pertinentes
Juillet 2008: D-SP2-4-2: Descripteurs audio de type morphologique pour les
sons environnementaux D-SP2-6-2: Description sémantique des classes