Journée de l'Innovation Collaborative 28 mars 2013

Geoffroy Peeters

IRCAM

Indexation musicale

Pourquoi et comment ?

La musique numérique

En pleine croissance

Chiffres France (SNEP): +13% en 2012

Chiffres USA (IFPI): 52% des revenus

Streaming (Deezer, Spotify, YouTube)

Vente en ligne (iTunes-Music-Store, Amazon, Google Play)

Accessibilité

Quantité accessibles ?

Supports physiques (FNAC): 30-50.000 titres

Supports numériques Deezer, Spotify: 20 millions, iTunes: 28, YouTube?

Quantité accédées ?

La majorité des écoutes se concentrent sur quelques artistes, titres

Comment permettre une « réelle » accessibilité au reste ?

Indexation musicale – Pourquoi ?

1 Geoffroy Peeters

Popularité des artistes sur Last.fm

Accès aux données musicales

Recherche par artiste, titre, album, genre

Nuages de « tags » (Last.fm, Musicovery)

Playlist, radio-thématiques

Recommandation

Recommandation ? Tags ?

Profils utilisateurs, de playlists (Amazon, iTunes Genius)

Tags apposés par les utilisateurs (Last.fm)

Tags apposés par des experts (Pandora, Musicovery)

Description du contenu audio

Indexation musicale = Quaero

Indexation musicale – Pourquoi ?

2 Geoffroy Peeters

iTunes

Last.fm

Deezer

Musicovery

Indexation musicale Extraire automatiquement la description du contenu

Avantages:

Tous les titres peuvent être décrits

La description est au niveau du titre

L’extraction est automatique

Inconvénients:

La description est « estimée »

Tout ne peut pas être extrait

Challenges technologiques

Sources sont mélangées

Passage à l'échelle

Trouver la description la plus pertinente

Indexation musicale – Comment ?

3 Geoffroy Peeters

Indexation Musicale

Partition Séparation

Notes AccordsTempo,

RythmeInstruments Structure

Tags

Genre Humeur Instrumentation

Identification audio

Similarité

Disque

?

Transcription automatique

Audio2Note

Exemple Gwen Stefani « In the morning »

Meilleurs places au concours international MIREX par les partenaires de Quaero

Indexation musicale – Comment ?

4 Geoffroy Peeters

Partition

Notes AccordsTempo,

RythmeInstruments Structure

Séparation des sources

Séparation voix/ trompette [TPT, Durrieu]

Exemple: Wynton Marsalis « Caravan »

Séparation de la batterie

Modèle temporel des évènements de batterie

Exemple: Hirmo « Summer Rain »

Indexation musicale – Comment ?

5 Geoffroy Peeters

Séparation

Auto-tagging

Indexation musicale – Comment ?

6 Geoffroy Peeters

Tags

Genre Humeur Instrumentation

Autres utilisations

Indexation musicale – Comment ?

7 Geoffroy Peeters

[Antescofo, Cont, IRCAM/ MuTant], Qwant

[Audio2Note, Röbel, IRCAM/ Anasyn], Ableton Live 9

Indexation

Musicale

Transformation

(manipulation de contenu)

Synchronisation

(accompagnement)

Recherche de, accès

aux documents

Ce que Quaero a permis

Réunir des centres de recherches majeurs en audio en France

(IRCAM, Télécom ParisTech, INRIA/Metiss, IRIT)

Permettre d’effectuer cette recherche dans des conditions applicatives réelles

(Orange, Exalead, Yacast)

Permettre de créer une filière industrielle en France

Résultats de Quaero

Les partenaires sont devenus des acteurs majeurs du domaine MIR au niveau international

Campagne d’évaluation internationale MIREX : dans les premiers pour toutes les tâches

Indexation musicale – Comment ?

8 Geoffroy Peeters

Indexation musicale

9

Merci de votre attention

Geoffroy Peeters