« Comment taire »

Olivia Grandville et Sylvie Garot

Romain Kronenberg – Nicolas Leroy

Enjeux

Explorer les liens possibles entre geste et son.

Trouver dans le geste des informations pertinentes pour le contrôle de la synthèse sonore.

Trouver des traitements sonores qui permettent de transformer une voix naturelle en matériau sonore plus électronique et abstrait.

Traitements sonores

MAC G5, Max/MSP

DM2000 – diffusion 6 enceintes

Matériau sonore : voix enregistrées préalablement, captation sonore du plateau en TR

Traitements : Sogs, ring modulation, Spat, delays, sampling, filtres résonants

PC Eyesweb G5 DM2000

Cam 1

Micro1

Micro2

Cam 2

Matrice video

ethernet ADAT

amplisHP1

HP2

HP6

HP3

HP5

HP4

Setup : Audio

Captation et Vidéo

Logiciel utilisé : EyesWeb sur PC, développé par InfoMus Lab à l’université de Gênes (www.eyesweb.org)

2 Caméras DV reliées au PC en composite via une matrice KRAMER commandée par le PC

Données gestuelles envoyées du PC vers le MAC :- liaison Ethernet - protocole Open Sound Control

Setup : Captation et Vidéo

Déroulé du spectacle

1. Podium2. Plateau segmenté3. Tractation4. Son plateau5. Final

1. Captation « Podium »

Extraction de la couleur de la peau

- Mode YUV (YCbCr : Luminance et Chrominances)- Traitement de la chrominance Cr traduisant la proximité au rouge/rose caractéristique de la couleur de la peau

Utilisation du barycentre des pixels

- Robuste - Envoyé via Open Sound Control au MAC

1. Patch Caméra « Podium »

1. Podium

- 86 samples extraits d’un texte, déclenchés successivement en fonction des mains d’Olivia:

- position- proximité - énergie

- Déclenchements de syllabes.

2. Captation « Plafond » Technique de captation :

- Passage en niveaux de gris- Soustraction de fond avec

seuillage :- Photo prise Live ou pré-

enregistrée => Image binarisée- Filtrage : médian + close- Extraction d’une région (« Blob »)

- Bounding rectangle- Vecteur direction

Ajout de bruit :- Déclenchements aléatoires

stoppés si Olivia rentre dans la zone de captation

Vidéo-projection de l’image traitée

2. Patch Caméra « Plafond »

2. Plateau segmenté- Plateau segmenté en 8 zones.- Chaque zone déclenche une partie du texte - Le texte affecté à chaque zone évolue dans le temps, lorsque toutes les zones ont été déclenchées.- Bruit ajouté dans l’image par EyesWeb => nombreux déclenchements aléatoires. - Olivia prend le pas sur le bruit lorsqu’elle entre dans la zone de captation- Samples envoyés dans Delays avec feedback -> construction d’un matériau sonore.

1 2

6 5

8 3

47

5 6

10 9

12 7

811

3. Tractation- Calcul de l’énergie du corps d’Olivia sur le PPRA et la position du centre de gravité.

- L’ énergie contrôle le point de lecture dans le fichier son (buffer~)

- La vitesse de lecture dépend aussi de la position dans le buffer~

- Si l’énergie est inférieure à un seuil donné, le point de lecture se fige et varie légèrement autour de sa position d’arrêt.

- Sogs -> RM

4. Son plateau

- 2 capteurs Accusound sous le plateau.

- Le son est traité successivement avec des filtres résonants, puis de la RM.

- Le son des capteurs est amplifié jusqu’au larsen contrôlé depuis la console.

5. Final

- Retour de Sogs

- En fonction de l’énergie du corps d’Olivia, on avance dans le buffer très vite

- Le son part dans des delays, dont le temps de delay varie abruptement,

- Chaque delay est envoyé dans une enceinte.