Traitement d’images et média visualisation

Traitement d’images et média visualisation

Everardo REYES

Université Paris 8 / Lab. Paragraphe

• Intro : L’image numérique et quelques problèmes

• Méthodes : cas de l’image en mouvement

• Utilisations : média visualisation, design

expérimental, images-interfaces

Plan

L’image numérique

Célèbre analyse de la publicité de pâtes Panzani

Roland Barthes, “Rhétorique de l’image”, 1964

Dénotation : ce que l’on voit

Connotation : la signification socio-culturelle

Sens de “italianité”

Analyse du tableau “Blumen Mythos” de Paul Klee (1918)

Felix Thürlemann, 1982

Relations entre plan de l’expression et

plan du contenu

Emploi la distinction entre signes

plastiques et signes figuratifs

Rappel sur Charles Peirce

représentation par connexion directe à l’objet

Indice

Symbole représentation par convention

Icône représentation par ressemblance

Icône Symbole

Indice

L’expression et le contenu des médias

peuvent être vus comme des indices,

icônes et symboles

Une photo, par exemple, peut ressembler

à son objet, mais le papier sur lequel

l’image a été fixée est une indice du

temps et des procédures techniques, elle

est symbole d’une époque historique,

économique, culturelle, politique.

Définit ion technique

“An image f(x, y) that has been discretized, where x and y are spatial

coordinates and the value of f at (x, y) is proportional to the

brightness of the scene at that point. It is represented by a series of

2D arrays, one for each color band… Each element of the array is

called pixel or pel, derived from the term “picture element”. Thus, a

digital image looks like this…”

[ Petrou & Petrou, 2010 ]

Images numér iques : po ints de départ

Un médium instable : en plein développement

Dépendent des logiciels de traitement et outils de capture

Leur matière est quantifiée ➜ des données

• Ce qui est visible par l’humain n’est pas “tout”

Problèmes de percept ion visuel le

• Comment décrire une image ?

• Méta-données techniques : e.g. EXIF

• Méta-données visuelles

• Méta-données culturelles

Problèmes de descr ipt ion

File Name Canon.jpg Camera Model Canon EOS DIGITAL REBEL Date/Time 2003:12:04 06:46:52 Shooting Mode Bulb Shutter Speed 4 Aperture 14.0 Metering Mode Center-weighted average Exposure Compensation 0 ISO 100 Lens 18.0 - 55.0 mm Focal Length 34.0 mm Image Size 8x8 Quality RAW Flash No Flash White Balance Auto Focus Mode Manual Focus Color Tone Normal Color Space sRGB File Size 2.6 kB File Number 118-1861 Drive Mode Continuous Shooting Owner Name Phil Harvey Serial Number 0560018150

390 propriétés visuelles quantifiées

Jeremy Douglass, SSI, 2011

• Méta-données culturelles :

• relations sémantiques

• relations pragmatiques

• relations textuelles : inter, hyper, meta, para

• subjectivité

• contexte de production

• inspirations

• interprétations

• réception

• expériences esthétiques

Problèmes de descr ipt ion

Problèmes de t raitement

L’image un espace cartésien et dynamique : Unités basiques : pixels : positionnés sur les axes X et Y

L’espace se rafraîchit à 60Hz

Tous les niveaux sont affectés : Acquisition, traitement, affichage, impression

Images numériques ➜ régime de la pixélité : Déterminées par la grille tramée [ raster grid ]

Ce n’est pas une propriété du numérique

Impression à demi-tons. 1850-1880

Balayage électronique [ tubes cathodiques ]. 1890-1920

Ceci n’est pas un pixel

Ceci n’est pas un pixel…

c’est la “trace” ou footprint

d’un filtre de reconstruction

Exemples de filtres de reconstruction

Alvy R. Smith, 1995

Problèmes d’échelle

• Échanges : le numérique comme format commun

• Augmentation : des données, appareils, dispositifs, pratiques

• Accès : à plusieurs logiciels et outils

• Combinaisons : médias et techniques des différentes disciplines

Méthodes : cas de l’image en mouvement

• Niveau de l’image résultante/en expérimentation

• Niveau des logiciels

• Niveau des langages de programmation

• Niveau des périphériques et hardware

Les méthodes s’appl iquent à plusieurs niveaux…

Parcours historique : représentation graphique du mouvement

Développement des mathématiques et géométrie Euclid, The Elements, c. 300 BC

Première représentation du mouvement Nicolas Oresme, Tractatus de configurationibus qualitatum et motuum, c. 1360

Géométrie + Algèbre = Plan cartésien René Descartes, La Géométrie, 1637

Capture du mouvement

Myographe Étienne-Jules Marey, La méthode graphique, 1876

Myographe Étienne-Jules Marey, La méthode graphique, 1876

Séquence de photographes Eadweard Muybridge, The Horse in motion, 1878

Abstraction de l’image Étienne-Jules Marey, Movement, 1895

Chronophotographe Étienne-Jules Marey, 1896

Capture précise du mouvement Frank Gilbreth, cyclographs, 1912

Modèles du mouvement

Sculpture d’une mouette en mouvement Étienne-Jules Marey, 1880

Cyclographe construit avec des câbles Frank Gilbreth, 1912

Art et mouvement

Les formes apparaissent à côté ou se superposent Marcel Duchamp, Nu descendant un escalier, 1912

La forme du mouvement devient un objet expressif Paul Klee, Blumen Mythos, 1918

Abstraction et symbolisme des formes Wassily Kandinsky, Composition VIII, 1923

Techniques de traitement d’images et vidéo

Edge Detection

Image Enhancement

Image Restoration

Image Segmentation

Image Synthesis

Image Transformations

assemblying

deconvolving

denoising

detecting (contours, ridge)

exporting

extracting

filtering

flipping

generating

measuring

quantifying

rotating

scaling

segmenting (binarization)

sharpening

smoothing

tracking

translating

Techniques communes

Video segmentation Video Object Segmentation with Shortest Path

Zhang, Zao & Cao, 2012

Video summarization Video summarization using singular value decomposition

Gong & Liu, 2000

Video cubes Fels & Mase, 1999

Color / Motion Amplification Rubinstein, Freeman, et. al., 2012

https://lambda.qrilab.com/site/

Infrared Reflectography, Art Institute of Chicago

Pablo Picasso, “The old blind guitarist”, 1903

Utilisations contemporaines : cas de la média visualisation,

du design spéculatif et interfaces graphiques

I OM

Approche aux images numér iques

Approche aux images numér iques

Une ou plusieurs fichiers d’images numériques

Logiciels, Codes, Algorithmes

Design/art spéculatif, Interfaces graphiques, Données descriptives

Approche aux images numér iques

I OM

Fichiers images

Séquences vidéo

Live streaming

Modèles 3D

Données

Images 2D

Modèles 3D

Interfaces graphiques

Séquences animées

Prototypes

Outils de théorisation

Structures de données

Algorithmes

Codes

Logiciels

Machines rhétoriques

M O

• Que font les logiciels aux images ?

• Comment les images influencent-elles la culture ?

Quest ions et problémat iques

• Que font les logiciels aux images ? • Nouveaux modèles de représentation ? • Nouveaux procédés issus des SHS ? • Nouvelles interfaces graphiques ? • Visualisation spéculative ?

• Comment les images influencent-elles la culture ? • Esthétique du numérique ? • Nouveaux modèles d’enseignement ? • Archéologie des médias ? • Modélisation culturelle des données ? • Transformations des aspects sémiotiques ? • Problèmes matériels et historiques ?

Quest ions et problémat iques

• Notion introduite en 2005 par la Software Studies Initiative

• Analyse de média visuels à travers des médias visuels

• Emploie : analytique visuelle et traitement numérique d’images

• Construction des espaces visuels des données

• Quelques modèles :

Image Averaging, Mosaicing, Slicing, Plotting, Meshing

Média Visualisat ion

Image Averaging du clip vidéo Smells Like Teen Spirit Musique : Nirvana. Réalisateur : S. Bayer, 1991

E. Reyes, 2013

Image Mosaic du clip vidéo Smells Like Teen Spirit E. Reyes, 2013

Vidéo-clip Come As You Are Vue orthogonale des photogrammes

Image Slicing de plusieurs clip vidéos de Nirvana Réalisateurs: S. Bayer and K. Kerslake, 1991-1992

E. Reyes, 2013

Interactive Explorations Hybrid Media Visualization, E. Reyes, 2013

Carte réseau avec images E. Reyes, 2013

203 paintings by Paul Klee Interactive visualization, E. Reyes, 2015

http://ereyes.net/kleeviz/

203 paintings by Paul Klee Interactive visualization, E. Reyes, 2015

http://ereyes.net/kleeviz/

Image Plot of the 2000 Rock Albums Data from AllMusic.com, E. Reyes, 2013

Experimental Media Visualizations E. Reyes, 2014

as

motion structures

VFX in the Film Inception (Nolan, 2010) E. Reyes, 2011

Game of Thrones (Benioff & Weiss, 2011-2014) E. Reyes, 2011

Game of Thrones (Benioff & Weiss, 2011-2014) E. Reyes, 2011

Game of Thrones (Benioff & Weiss, 2011-2014) E. Reyes, 2011

Charles Csuri, Hummingbird, 1967 E. Reyes, 2011

Peter Weibel, Endless Sandwich, 1969 E. Reyes, 2011

Bill Viola, Acceptance, 2008 E. Reyes, 2011

Game of Thrones (Benioff & Weiss, 2011-2014) E. Reyes, 2011

3D Print of Motion Structure E. Reyes, 2011

J’ai extrait 200 captures d’écran de Google, de 1998 et 2015

J’ai produit un modèle 3D

comme une image texture [ Dondero & Fontanille, 2012 ]

Le dispositifs de visualisation permet d’observer des traces

évolutives, mais manque de repères pour compléter son

iconisation dans la temporalité [ injection par sémiotiques

extérieures [Klinkenberg, 1996] ]

GoogleViz

Texture dans un hypercube

Fait avec Processing 3.0

Vidéo / séquence d’images

Electric Sheep (Scott Draves)

Modèle 3D généré à partir d’une

séquence d’images d’Electric Sheep (Scott Draves)

Visualisation spéculative dans un

espace 3D généré d’une séquence d’images

Fait avec ImageJ et MeshLab

Visualisation spéculative dans un

espace 3D généré d’une séquence d’images

Fait avec ImageJ et MeshLab

Visualisation spéculative dans un

espace 3D généré d’une séquence d’images

Fait avec ImageJ et MeshLab

• Enrichir la description en ajoutant des critères humaines et culturels ?

• Critique des logiciels et procédures ?

• Analyse des pratiques logiciels comme énonciation ?

• Repenser la relation entre perception et monde naturel

• Visualisation des logiciels et algorithmes de traitement d’images.

• Simulation culturelles : tendances, événements, etc. ?

• Description du contexte : ouvrir nouvelles voies à la découverte de productions ?

Conclusion : apports des humanités

Merci de votre attentionEverardo REYES

Université Paris 8 / Lab. Paragraphe

ereyes.net