Enjeux des cultural analytics et sémiotique visuelle

Enjeux des "cultural analyt ics” et sémiotique visuelle

Everardo REYES

Université Paris 8 / Lab. Paragraphe

Colloque “Analyser l’archive visuelle par l’image”

Organisateurs : M.G. Dondero, M. Hagelstein, T. Lenain, J. Portela

8 et 9 décembre 2016 | Université de Liège, Belgique

Sémiotique des images

Méthodes

• Méthode linguistique / Analyse des textes

• Méthode philosophique / Analyse du système

• Méthode expérimentale

• Analyse combinatoire

[ Sonesson, 1988, 1992 ]

• Méthode linguistique / Analyse des textes

• Méthode philosophique / Analyse du système

• Méthode expérimentale

• Analyse combinatoire

• Méthode numérique / Analyse des données

Plusieurs niveaux :

Quels aspects du numér ique ?

Dispositifs d’affichage et capture

Visualisations, représentations

Interfaces graphiques

Langages de programmation

Formats

Algorithmes

Structures de données

Types de données

• Social Computing

• Digital Humanities

• Digital Studies

• Digital Methods

• { Platform, Software, Critical Code } Studies

• Cultural Analytics

Quelques init iat ives

Apport méthodologique

Cultural Analytics

• Curation de grandes collections de médias et données

• Utilisation des techniques en traitement d’image

• Méthodes d’analyse des sciences humaines

• Construction de nouvelles images et cartes analytiques

Cultural Analyt ics

• Circuits de distribution : souvent artistiques

• Usage scientifique : manquent des projets en collaboration avec

des spécialistes du domaine

• Accessibilité : outils, modèles, méthodes encore instables

• Multiple médiations :

• Pas d’accès aux “tableaux” mais à des images

• Pas d’accès aux “données” mais aux interfaces

Quelques enjeux

• Statistique bayésienne et géométrie euclidienne : formes graphiques

• Dimensionalité : réduction à espaces 2D

• Shape descriptors : extraction / description des formes

Approche quant itat ive

Graphiques hybr ides, émergents

Image Plot

Image Montage

Image Histogram

Growing Entourage Plot

Image Cartesian 360 Transformations

Image Plot : Paul Klee Viz E. Reyes, 2015, http://ereyes.net/kleeviz/

Blumen Mythos

Date

Saturation

Image Montage : Visualize the Public Domain Brian Foo & NYPL Labs, 2016, http://publicdomain.nypl.org/pd-visualization/

Image Histogram D. Crockett, 2016

Slice Histogram D. Crockett, 2016

Growing Entourage Plot D. Crockett, 2016

Expériences et implémentations

• Image Cartesian 360 Transformation

• Des espaces 2D ➜ 3D

• Analyse ➜ Synthèse

Expér iences implémentat ion

Image Cartesian 360 Transformation E. Reyes, 2016

3D Viz de couleurs selon le modèle RVB E. Reyes, 2016

Visualisation 3D interactive http://ereyes.net/rothkoviz/rothkoviz.html

E. Reyes, 2016

Segmentat ion des images

Analyse des compositions

Exemples filtre motion blur

Google Nike Collection Plugin Simulation de filtres optiques

Adobe Photoshop

Exemples de filtres numériques

Organisation de plages de Sans Titre de Rothko / Sonesson, 1994

Shape Descr iptors

Form factor 4𝝅 area Perimeter2 4 PI * area /sqr (perimeter)

Roundness 4 area 𝝅 Max diameter2 4 * area / PI * sqr (major axis)

Compactness √4/𝝅 area Max Diameter sqrt ( (4/pi) * area) / major axis

Aspect Ratio Max dimension Min dimension major axis / minor axis

[ Russ, 2011:600 ] ImageJ

Mult iples dimensions

Principal Component Analysis Plot Réduction de 56 propriétés visuelles à 2D

E. Reyes, 2016

Principal Component Analysis Plot Réduction de 56 propriétés visuelles à 2D

E. Reyes, 2016

Shape descriptors et Deep learning https://www.nextrembrandt.com/

ING, Microsoft, 2016

Shape descriptors et Deep learning https://artsexperiments.withgoogle.com/

Google Arts & Culture, 2016

[ Blanciak, 2008 ]

Grammaires de formes

[ Kirsch & Kirsch, 1986 ]

Descriptions des tableaux de Rothko, 1949-1970

Pour une implémentation avec des

langages web

E. Reyes, 2016

Description of shape

relationships: inclusion,

proximity/repulsion, framing,

width-height, blurriness, area

Images générées selon le style de Rothko Simulateur pour méthodes expérimentales

E. Reyes, 2016

• “Sémiotiser” des interfaces et des nouvelles images

• Aller aux sources du sens des la description numérique

• Créer, expérimenter, questionner les modèles

Méthode numér ique

Merci de votre attentionEverardo REYES

Université Paris 8 / Lab. Paragraphe

ereyes.net