Développer l’auDition augmentée · virtualité augmentée 16 2. Histoire de la réalité augmentée 17 2.1. la réalité virtuelle, origine de la réalité augmentée 17 2.2

D i re c t i o n

Thierry Coduys

Guillaume JaCquemin

Développerl’auDition augmentée

sur plateforme mobile

son 2012alexandre saunier

ecole nationale supérieure louis lumière

promotion 2009-2012

J u r y

alan Blum

Thierry Coduys

Guillaume JaCquemin

mémoire de fin d’études et de recherche appliquée

2

remerCiemenTs

Pour commencer, merci à mes directeurs de mémoire, Thierry Coduys et

Guillaume Jacquemin, pour les conseils et l’aide apportés lors de ce mémoire.

De même, merci à Cécile le Prado, pour m’avoir présenté ses travaux et nourri

ma réflexion concernant ma partie pratique, et Antonin Fourneau, pour m’avoir présenté

Oterp et fait partager sa passion, mélange d’art et de jeux-vidéo.

Je tiens à remercier l’ensemble des professeurs et intervenants de l’établissement

qui, durant ces trois dernières années, m’ont fait découvrir le monde du son et conforté

dans ce choix de métier.

De façon plus personelle, merci à mes parents et ma famille pour m’avoir

toujours encouragé dans cette voie. Ce mémoire leur doit beaucoup.

Merci particulièrement à Marion et Antoine pour le temps passé à partager des

pauses, mais également à travailler à nos mémoires. Merci également à Hélène et Yohan

qui ont affronté les pages de cet écrit et l’ont éclairé de leurs conseils.

Enfin, un remerciement spécial aux créateurs du First Person Tetris qui, s’il ne

m’a pas aidé à rédiger, a une fois de plus trouvé sa place sur mon bureau.

3

résumé

La réalité augmentée a pour but d’introduire des éléments virtuels dans le monde

réel par le biais d’un système informatique. Bien plus que tout autre support, elle

permet de toucher l’ensemble des sens du spectateur. En particulier, elle permet

d’imaginer un emploi du son original et interactif. Récemment, l’arrivée sur le marché

des smartphones a fourni à la réalité augmentée une plateforme adaptée, mais aussi

un regain d’intérêt auprès du grand public.

Ce mémoire a pour but d’offrir des pistes de réflexions quant à l’augmentation

du son par l’emploi de smartphones. Si les applications sont nombreuses, nous

n’observerons que l’emploi qui en est fait dans le monde de l’art. Nous y puiserons

la matière nécessaire à une réflexion sur le potentiel de la réalité augmentée sonore.

Nous observerons aussi les caractéristiques des technologies smartphones avant d’en

étudier le potentiel dans une application au domaine du son.

moTs Clés :

Réalité augmentée, Audition augmentée, Smartphone, Réalité virtuelle,

Programmation, interactivité, Immersion

4

aBsTraCT

Augmented reality aims to insert virtual components into the real world by means

of computing. Above all mediums, it gives the opportunity to reach each senses of the

participant. In particular, it gives the opportunity to imagine original and interactive

ways to use sound. Recently, smartphones gave augmented reality an appropriate

platform along with a new interest among the general public.

This dissertation intends to feed the reflexion on the subject of ssmartphone

augmented hearing. Though applications à numerous, we will concentrate on those

found in the world of art. From there, we will find the arguments necessary to a

reflexion on the potential of augmented sound reality. In addition, we will observe the

characteristics of smartphones before studying their interest to the world of sounds.

Key Words :

Augmented reality, Augmented hearing, Smartphone, Virtual reality,

Programming, Interactivity, Immersion

5

TaBle des maTières

introduction 8

partie i. la réalité augmentée 12

1. Concepts et définitions 13

1.1. Continuum réel-virtuel et réalité mixte 131.2. réalité virtuelle 141.3. réalité augmentée 151.4. virtualité augmentée 16

2. Histoire de la réalité augmentée 17

2.1. la réalité virtuelle, origine de la réalité augmentée 172.2. Histoire de la réalité augmentée dans l’art 20

3. réflexions sur la réalité augmentée 24

3.1. perception de l’augmentation : la sensation de présence 243.2. pratiquer la réalité augmentée mobile 28

4. l’audition augmentée 29

4.1. Différentes oeuvres 294.2. Qu’est-ce qu’augmenter l’audition? 31

partie ii. la technologie smartphone 33

1. généralités 34

1.1. Histoire 341.2. marché 35

2. systèmes d’exploitation 38

2.1. google android 382.2. apple ios 402.3. symbian 40

6

2.4. microsoft Windows mobile phone et Windows phone 412.5. rim blackberry 412.6. autres systèmes 41

3. fonctionnalités 42

3.1. puissance de calcul 423.2. réseaux 423.3. géopositionnement 433.4. Capteurs: accéléromètre, gyroscope et magnétomètre 453.5. son 473.6. energie 47

4. Développer pour un smartphone 48

4.1. Contraintes techniques 484.2. prendre en compte l’utilisateur 49

partie iii. application de la réalité augmentée aux smartphones 51

1. Contexte 52

1.1. pourquoi utiliser des smartphones? 521.2. exemples de travaux 53

2. l’audition augmentée 56

2.1. les smartphones, une plateforme propice à augmenter l’audio 562.2. un exemple de jeu en audition augmentée 57

partie iv. Concernant la partie pratique 59

1. projet et approche de l ’environnement 60

1.1. la scénarisation 601.2. un aspect collaboratif 621.3. Choix software et hardware 63

2. Développer un module 65

2.1. guider le joueur 65

7

2.2. la gestion des effets sonores 662.3. programmation à l’aide de libpd 67

Conclusion 69

annexes 71

8

inTroduCTion

« This is not like “TV only better” ! This is life. »

Strange Days de Kathryn Bigelow

« This is not like “TV only better” ! This is life. » Voila ce vers quoi tend la Réalité

Augmentée. Comme la réalité virtuelle, avec laquelle elle partage les mêmes origines,

elle s’adresse au spectateur dans son intégralité. L’art a sans cesse cherché à toucher, faire

se questionner, faire ressentir : la peinture et la photographie en s’adressant à la vue, la

musique à l’ouïe, la littérature et la poésie à l’imagination du lecteur. Quant au théâtre, à

l’opéra et au cinéma, ils touchent autant la vue que l’ouïe et mélangent différents modes

d’expression. La réalité augmentée permet tout cela et bien plus. Elle donne la possibilité

de mélanger les médias : musique, image, texte... Elle cherche à solliciter tous les sens

: l’audition et la vision mais aussi le toucher et parfois l’odorat et le goût. Surtout, elle

fournit des outils puissants en terme d’immersion et de sensation de présence.

Réalité augmentée et réalité virtuelle sont avant tout des technologies ayant

une application pratique, surtout dans le domaine militaire et médical. Mais comme

tout procédé technique le monde de l’art ne les a pas laissés de côté. La science fiction

et la culture cyberpunk en ont fait deux de leurs thèmes de prédilection : Neuromancer

a définit le concept de « cyberespace », The Matrix nous envisage comme les habitants

d’un monde virtuel, et nous en trouvons la trace dans de nombreuses autres oeuvres :

Tron, Avalon, Minority Report, Rainbow’s End... Quant aux artistes comme Jeffrey Shaw,

Maurice Benayoun, Char Davis, ils ont fait appel à ces technologies dans leurs œuvres.

Encore relativement jeune et en plein essors la réalité augmentée est sans doute un

médium qui, comme cela a été le cas pour les livres ou le cinéma, permet de créer de

9

nouvelles oeuvres, de nouveaux types d’histoires, de véhiculer des idées et surtout, de

toucher le public.

« You’re there. You’re doing it, seeing it, hearing it... feeling it. » Voici les mots

qu’utilise Lenny Nero, antihéros du film Strange Days, lorsqu’il présente « the wire » :

un concentré de technologies que l’on place sur sa tête et dont les capteurs établissent un

contact direct avec le cerveau. Dans son mode d’enregistrement « the wire » capte toutes

les sensations de la personne qui le porte, ce qu’elle vit, entend, voit, ressent, éprouve.

En mode lecture il retransmet l’ensemble de l’expérience enregistrée : « You’re there. You’re

doing it, seeing it, hearing it... feeling it. » On vit une expérience immersive incomparable :

au delà des sens qui sont tous touchés, les émotions et les sensations sont transmises. La

puissance de cette technologie tient au fait que l’expérience vécue est indissociable du

réel : on la ressent comme si l’on y était. Il s’agit là du phénomène de « présence ». Peut-

on, et de quelle façon, donner au participant la sensation de vivre une expérience réelle

et non un simulacre virtuel? Voici l’enjeu principal de la réalité virtuelle et de la réalité

augmentée qui, plus que tout autre procédé, fait appel au monde virtuel pour l’incruster

ou le substituer au monde réel.

Si le domaine de la réalité augmentée m’intéresse, c’est aussi qu’une technologie

permettant de l’exploiter et de la porter au grand public se développe depuis quelques

années : celle des smartphones. Jusqu’à récemment la réalité augmentée était réservée à des

cercles restreints, principalement de chercheurs, disposant de la technologie nécessaire –

capteurs, ordinateurs, casques de vision stéréoscopique... Les systèmes développés étaient

coûteux, encombrants, souvent peu maniables et hors d’atteinte du grand public, sauf

pour quelques oeuvres présentées occasionnellement, comme The Golden Calf de Jeffrey

Shaw. L’année 2007 a marqué un tournant dans le monde de l’informatique mobile en

voyant apparaître sur le marché des smartphones disposant d’une puissance de calcul

et de graphismes auparavant inaccessibles à cette technologie. Ces appareils réunissent

dans un boitier ultra-portable, et à un prix abordable, des outils puissants en terme

d’interaction et de création numérique. Ainsi, la barrière qui existait entre le public et la

10

réalité augmentée a disparue.

Deux aspects de la réalité augmentée peuvent être développés grâce à l’utilisation

des smartphones. Leur portabilité donne la possibilité d’introduire le virtuel dans tout type

d’environnement et permet la création d’une réalité augmentée mobile accompagnant

l’utilisateur à tout instant de sa vie. Surtout, ces téléphones sont particulièrement adaptés

à l’augmentation du son.

Au travers de ce mémoire nous chercherons à mettre en avant ce que l’on pourrait

appeler l’« audition augmentée » et la façon dont les smartphones permettent de la créer.

Qu’il s’agisse d’incrustations et d’effets sonores ou encore de génération de musique

en temps-réel, il est possible de modifier notre perception et créer des univers sonores

augmentant le réel. Parmi les différentes applications qui peuvent en être faites, nous

n’aborderons que celles liées aux pratiques artistiques et employant le temps réel. C’est à

dire l’utilisation qui peut en être faite dans le cadre d’installations ou de performances et,

dans une certaine mesure, de jeux en réalité augmentée.

Dans un premier temps nous observerons donc ce qu’est la réalité augmentée.

Ses origines et les concepts qui la soutiennent avant de donner un aperçu d’oeuvres

réalisées. En plus de l’état de l’art, cette partie met en avant certains points et questions

récurrents dans tous projets mêlant réel et virtuel.

La deuxième partie sera consacrée aux smartphones. Nous présenterons ce qui

se fait en matière de plateformes et d’outils : afin de les exploiter il est nécessaire d’avoir

connaissance des différentes technologies qu’ils proposent.

Viendra ensuite une partie explorant le croisement réalisable entre réalité

augmentée et smartphones. Il s’agit d’en observer les aspects technologiques et artistiques

avant d’aborder l’emploi de ces plateformes pour l’augmentation du son.

11

Enfin nous verrons en pratique la façon dont une telle augmentation

sonore peut être réalisée sur une plateforme Android. Cette plateforme est celle

employée pour la partie pratique de mémoire et permettra de donner quelques

clés concernant la création d’une application d’« audition augmentée ».

12

ParTie i. la réaliTé auGmenTée

13

1. Concepts et définitions

1 . 1 . Co nt i n u u m ré e l -v i r t u e l e t ré a l i té m i x te

La réalité virtuelle prend naissance dans les années soixante. Elle est définie

comme un environnement entièrement synthétique dans lequel est plongé le spectateur.

Afin de mettre en relation le spectateur avec ces mondes immatériels de nombreuses

interfaces ont été développées. Les Head Mounted Display (HMD) en particulier sont

à l’origine de la création d’états intermédiaires originellement regroupés sous le nom

de réalité augmentée. L’absence de classification claire de ces états a mené au début des

années 90 à la définition d’un concept : celui de Continuum Réel-Virtuel.

Ce continuum voit à ses extrémités l’environnement réel – le monde tel que

nous le connaissons – et l’environnement virtuel – généré par informatique. Entre les

deux existe une zone où cohabitent les objets réels et virtuels : la réalité mixte – cette

dernière englobe la réalité augmentée et la virtualité augmentée.

Afin d’aborder ce concept de continuum réel-virtuel, Paul Milgram considère

deux questions1 :

− L’environnement principal est-il réel ou virtuel ?

− L’augmentation, les objets insérés, sont-ils réels ou virtuels ?

La réalité augmentée désigne donc un environnement réel auquel sont

superposés des éléments virtuels. Wikitude World Browser2 est un exemple explicite :

cette application combine les fonctions de GPS et de compas des smartphones afin

d’associer des informations à des lieux en les incrustants dans l’image issue de la

caméra. Au contraire, la virtualité augmentée est un environnement virtuel dans lequel

1 milgram p., taKemura H., utsumi a., KisHino f., augmented reality : « a class of displays on the reality-virtuality continuum », proceedings of telemanipulator and telepresence technologies, pp. 2351-34, 1994

2 voire annexe 2

14

sont surajoutés des éléments réels. OpenSimulator3, par exemple, permet une telle

augmentation en donnant la possibilité d’inclure des vidéos provenant du monde réel.

fig.1 Continuum réel-virtuel simplifié

Le continuum présenté ici (Fig. 1) est une version simplifiée de celui définit par

Paul Milgram. Dans son intégralité, trois critères sont considérés : reproduction fidelity

– qualité des objets et stimuli virtuels – extent of world knowledge – degré de prise en

compte et d’implication de l’environnement réel – et enfin extent of presence – façon

dont les stimuli sont perçus et degré d’immersion du participant. La classification qui est

mise en place a pour but de permettre la comparaison et la mise en relief de similarités et

différences entre projets. Si elle est fondée sur des interfaces visuelles, elle n’en reste pas

moins un outil pertinent pour aborder les tenants et aboutissants de tout travail faisant

cohabiter réel et virtuel.

1 . 2 . r é a l i té v i r t u e l l e

La réalité Virtuelle consiste en la génération d’un environnement numérique

dans lequel est immergé le participant. Cet environnement peut imiter les propriétés du

monde réel – cas des simulateurs de vols. Au contraire, il peut outrepasser les lois de la

physique et créer un monde où le temps, la gravité et les propriétés des objets n’ont plus

3 http://opensimulator.fr

15

les mêmes effets – Osmose de Char Davis4 par exemple. L’espace ainsi créé permet au

spectateur d’interagir, y évoluer et vivre des sensations aussi convaincantes que possible.

Il a pour but de tromper le spectateur afin de remplacer le monde réel.

Howard Rheingold, auteur d’un des premiers livres sur le sujet, résume la

réalité virtuelle à l’aide de ces trois notions interdépendantes : « One is immersion, being

surrounded by a three dimensional world ; another one is the ability to walk around in that

world, choose your own point of view ; and the third axis is manipulation, being able to reach

in and manipulate it. »5

L’objectif étant une immersion maximale, elle fait appel à des interfaces

particulières. On emploie ainsi fréquemment des casques virtuels HMD, des gants ou

des combinaisons haptiques, ainsi que des capteurs de position ou du tracking vidéo. La

principale difficulté à laquelle ces interfaces doivent faire face est l’établissement d’une

lien précis entre les mouvements du participant et l’environnement virtuel. le spectateur

doit pouvoir se déplacer et modifier son point de vue, ressentir et agir sur les objets, sans

subir de latence ou de sensation de manque de correspondance entre ses actions et leurs

transpositions dans l’univers virtuel. De la qualité de ces interfaces dépend ce qui sous-

tend toute expérience de ce type : l’immersion et la sensation de présence6.

1 . 3 . r é a l i té a u gm e nté e

Plutôt que de remplacer le monde physique, la réalité augmentée en crée une

extension, un enrichissement. Elle consiste en l’inclusion d’éléments virtuels dans le

monde réel et désigne l’ensemble des procédés le permettant.

4 voir chapitre 1.2.1.

5 « la première [notion] est l’immersion, c’est à dire être plongé dans un monde en trois dimensions; une autre est la capacité de déplacement dans ce monde, celle de choisir son propre point de vue; et le troisième axe est celui de la manipulation, être capable d’y atteindre des objets et de le manipuler. » rHeingolD H., virtual reality,touchstone edition, etats-unis d’amérique, 1992


16

Une première définition fut donnée en 1994 par Paul Milgram et Fumio Kishino

lorsqu’ils définirent le concept de continuum réel-virtuel. Il s’agit alors de l’ensemble des

cas dans lesquels des éléments graphiques générés par informatique sont superposés à

l’environnement réel. Seuls les systèmes de HMD permettant de voir le monde alentour,

soit par l’intermédiaire de caméras soit par transparence, sont abordés.

L’autre définition fréquemment employée est celle que Ronald T. Azuma donne

dans A Survey of Augmented Reality7. La réalité augmentée doit alors répondre aux trois

caractéristiques suivantes:

− Combiner réel et virtuel

− Etre interactive et en temps réel

− Etre effectuée en trois dimensions

Azuma cherche par là une définition plus générale et surtout, indépendante de

la technologie employée. Ainsi, elle s’applique autant à la vue, à l’audition, au toucher

et dans une bien moindre mesure, malgré les recherches effectuées, à l’odorat et au goût.

Donner une définition précise de la réalité augmentée n’est pas chose aisée. Selon

les auteurs elle peut inclure, ou exclure, les systèmes en temps différé – l’incrustation

d’image de synthèse dans des films par exemple – ou encore nécessiter le recours à une

technologie précise. Cela est rendu d’autant plus difficile par la richesse des interactions

réel-virtuel. Le terme de réalité augmentée est ainsi fréquemment employé dans des cas

où il serait plus juste de parler de réalité mixte.

1 . 4 . vi r t u a l i té a u gm e nté e

A l’inverse, la virtualité augmentée voit l’insertion d’objets réels – non modélisés

– dans un environnement numérique.

7 aZuma r., « a survey of augmented reality », presence : teleoperators and virtual environments 6, aout 1997, p. 355-385

17

Moins répandue que la réalité augmentée on en trouve de nombreux

exemples dans le jeux vidéo. L’image du joueur se trouve par exemple insérée dans l’écran

et agit sur les objets qui s’y trouvent.

2. Histoire de la réalité augmentée

2 . 1 . l a r é a l i té v i r t u e l l e , o r i g i n e d e l a ré a l i té a u gm e nté e

On peut situer l’origine de la réalité virtuelle à 1965 quand Ivan Sutherland

publia son article The Ultimate Display. Durant les trois années suivantes, il développa

le premier HMD, nommé The Sword of Damocles, pour la Bell Helicopter Company ; il

est à noter que ce projet bénéficiait du financement de l’armée américaine. Les avancées

majeures dans ce domaine datent cependant des années 80. Jaron Lanier, un des pionniers

en la matière, inventa le terme pour distinguer les environnements numériques immersifs

des simulations informatiques. Sa société, VPL Research, commercialisa en 1984 le

premier gant de données (Data Glove) permettant la navigation et l’interaction avec les

environnements virtuels ainsi qu’un dispositif de réalité virtuelle en réseau dès 1989.

D’autres types d’interfaces ont aussi été développées afin de naviguer dans

les mondes virtuels. On peut citer The Legible City, de l’artiste australien Jeffrey Shaw.

Dans cette œuvre de 1989, le spectateur monte sur une bicyclette fixe pour se déplacer

à l’intérieur d’une ville dont les bâtiments sont faits de textes rappelant New-York et

Amsterdam. La visite est alors dirigée par l’intermédiaire du pédalier et du guidon,

permettant au spectateur de suivre les histoires racontées sur les murs ou de créer son

propre parcours.

En 1991, afin de s’affranchir des systèmes encombrants pour le spectateur, Tom

DiFanti et Dan Sandin développent le Cave Automatic Virtual Environnement (CAVE).

Cette technologie de réalité virtuelle est un cube dans laquelle une rétro-projection

3D polarisée est effectuée sur trois de ses faces et munie d’une diffusion sonore « 3D »

immersive. Il suffit alors aux spectateurs de se munir d’une paire de lunettes polarisée

18

pour prendre part au CAVE. Un visiteur « leader » est muni d’un capteur de position et

d’une « baguette interactive » afin de contrôler l’interaction avec l’univers présenté.

De nombreux artistes ont utilisé la technologie du CAVE. C’est le cas de

Maurice Benayoun et Jean-Baptiste Barrière pour l’installation World Skin qui remporta

un prix aux Ars Electronica de 1997. Cet univers immersif présente un monde ravagé par

la guerre, peuplé de soldats, de tanks et autres ruines. Armés d’un appareil, les visiteurs

peuvent photographier les éléments de ce décor. Mais chaque photographie prise fait

disparaître son sujet du paysage : « Nous prenons des photos et ici la photographie

est une arme pour effacer. […] Chaque fragment photographié disparaît de l’écran et

est remplacé par une silhouette noire. Avec chaque déclenchement de l’obturateur, une

partie du monde disparaît. »8

Entre 1992 et 1994 le Banff Center met en place The Art and Virtual Environments

Project. Neuf projets, souvent considérés comme les premières œuvres de réalité virtuelle,

sont alors développés. On peut citer Barcode Hotel de Perry Hberman, Virtual Reality

on 5 Dollars a Day de Ron Kuivila et Dancing with the Virtual Dervish : Virtual Bodies

de Tacov Sharir et Diane Gromala. La première œuvre achevée est Placeholder de Brenda

Laurel et Rachel Strickland qui reçut un très bon accueil. A l’aide de onze ordinateurs,

dont les Apple Powerbook de l’époque, et plus de 25 000 lignes de codes, Brenda Laurel

explore le rôle de la narration dans les environnements virtuels.

Osmose (1995) de Char Davies est un classique en ce qui concerne l’immersion

totale dans un monde virtuel. Equipé d’un HMD et d’une combinaison munie de capteurs

(Fig. 2), le spectateur vit un voyage à travers trois espaces successifs dans un univers

rempli d’éléments organiques. Osmose se distingue par deux aspects : son esthétique et

son interface. Avant d’utiliser des ordinateurs, Char Davis était peintre. Ainsi, très loin

des graphiques 3D fondés sur les polygones et propres à l’informatique, l’esthétique

repose sur des structures organiques complexes et un jeu prononcé sur la transparence

8 benaYoun m., « World skin Documentation », http://www.benayoun.com

19

et la luminosité. La charte graphique est fondée sur le désir de bousculer les perceptions

du spectateur dans le but d’augmenter son attention et de lui faire percevoir son corps

et ses sensations de façon nouvelle. Comme Char Davis l’explique : « in Osmose we used

transparancy and luminous particles to “desolidify” things and disolve spatial distinctions. »9.

Il en va de même pour l’interface. Si elle emploie un casque de réalité virtuelle, elle fait

surtout appel à une combinaison spécialement conçue pour l’oeuvre. Celle-ci permet

de suivre la respiration et l’inclinaison du spectateur en recueillant les informations de

déformation et de torsion de la cage thoracique10. On se déplace alors en se penchant

d’un côté ou d’un autre, s’élevant ou descendant au rythme de sa respiration. Décrite

comme « mystique » par certains visiteurs, Osmose permet de vivre une expérience où l’on

est amené à flotter au sein d’un univers onirique.

fig.2 spectateur muni d’un HmD prenant part à osmose

9 « Dans osmose nous avons utilisé la transparence et des particules lumineuses afin de “dé-solidifier” les choses et dissoudre les distinctions spatiales. » Davis C., « Changing space : vr as an arena of being », http://www.immersence.com/immersence_home.htm

10 pour plus d’informations sur l’élaboration de l’interface, son fonctionnement et ses méthodes de tests, se référer à l’excellente publication : seffaH a., benn J., mamar H. H., « a low-Cost test environmen for usability studies of Head-mounted virtual reality systems », Journal of usability studies, vol. 3, issue 2, février 2008, pp. 60-73

20

fig.3 osmose, univers souterrain

2 . 2 . H i s to i re d e l a ré a l i té a u gm e nté e d a n s l ’a r t

Bien que la réalité augmentée ne se soit réellement développée qu’à partir des

années quatre-vingt-dix, elle partage son origine avec la réalité virtuelle : l’une des versions

du Sword of Damocles permettait de voir le monde réel au travers de la visière servant

21

d’écran. Ce casque fut le premier système permettant d’insérer des éléments virtuels

dans le monde réel ; conçu pour des pilotes d’hélicoptères, il permettait l’incrustation

d’informations utiles au pilotage sous la forme de figures polygonales. Il faudra attendre

1992 pour que Tom Caudell et David Mizell inventent le terme « réalité augmentée »

alors qu’ils travaillaient chez Boeing à la conception d’un HMD. Le système développé

pautorisait la superposition de diagrammes sur des objets physiques afin d’améliorer les

méthodes de fabrication des avions.

Le premier système visant l’interaction de l’utilisateur avec des éléments virtuels

est Videoplace créé en 1975 par Myron Krueger. Ses mouvements sont analysés à l’aide

de caméras vidéo afin de générer une silhouette. Cette silhouette est alors projetée sur un

écran et entre en interaction avec des objets virtuels.

Dans le monde de la performance, l’emploi de la technologie débute dès les

années soixante. En 1966, une trentaine d’ingénieurs des laboratoires Bell s’associèrent à

neuf artistes pour créer 9 evenings. Cet ensemble de pièces est la première collaboration

d’envergure entre les mondes de la science et de la performance et pose les bases de

l’augmentation aussi bien dans le théâtre que dans la danse. Par la suite, on attribue à

Julie Martin la première performance en réalité augmentée telle que nous l’avons définie.

En 1994, Dancing in Cyberespace permet à des danseurs et des acrobates de jouer avec des

objets virtuels projetés dans le même espace physique qu’eux et réagissant en temps réel.

L’emploi de la réalité augmentée, en vidéoprojection, n’a ensuite cessé de se développer

dans le monde du spectacle vivant. Parmi les créations récentes, nous pouvons citer Glow

de la compagnie australienne Chunky Move, une performance où les mouvements de

la danseuse solo donnent naissance à l’environnement vidéo qui l’entoure : « In Glow,

light and moving graphics are not pre-rendered video playback, but rather images constantly

generated by various algorithms responding to movements. […] The machine sees the performers

and responds to their actions. »11

11 « Dans glow, la lumière et les mouvements graphiques ne sont pas des rendus vidéo effectués au préalable et lus en playback mais au contraire, des images générées constamment par des algorithmes sensibles aux mouvements. […] la machine voit les interprètes et réagit à leurs actions. »

22

Dans un autre domaine, Jeffrey Shaw présente en 1994 Golden Calf, que

l’on pourrait voir comme l’une des premières sculptures en réalité augmentée. Cette

installation consiste en un écran de la taille d’une feuille de papier dans lequel est visible

une idole païenne. L’image diffusée est synchronisée avec les mouvements et la position

de l’écran par rapport à l’idole afin de permettre au spectateur de l’inspecter sous tous

ses angles en se déplaçant autour d’elle. Si l’idole n’est pas présente physiquement, c’est

la médiation technologique qui permet de la faire apparaître. Le critique d’art Toshiharu

Itoh commente l’approche de Jeffrey Shaw de la façon suivante : « Shaw emphasize the

creativity of the border region where one foot rests in the real world, and the other in the

world of fantasy. »12 Ici, l’augmentation n’a pas pour but d’immerger le spectateur dans

un monde factice, mais de le placer à la frontière entre réel et virtuel pour faire émerger

de nouvelles narrations et expériences.

En 1999 Hirokazu Kato présenta ARToolKit, ensemble d’outils informatiques

dédiés à la réalité augmentée. Il s’agit de la première bibliothèque libre permettant de

résoudre deux problèmes : le suivi du point de vue de l’utilisateur et l’interaction entre

objets virtuels. Cette bibliothèque est aujourd’hui l’une des plus utilisées au monde.

La même année le logiciel Virtools13 fait son apparition sur le marché. Son

interface de programmation graphique très intuitive permet de créer des applications de

3D temps réel. Malgré la concurrence, Virtools est encore une référence et se trouve au

cœur de nombreux projets de réalité augmentée ou virtuelle, notamment du CAVE.

ARQuake développé par Bruce Thomas à University of South Australia en 2000

met en scène le jeu vidéo Quake dans l’environnement réel. Afin d’y prendre part le joueur

est équipé d’un HMD et d’un système employant la localisation GPS, des magnétomètres

obarZaneK g., http://reviews.media-culture.org.au/modules.php?name=news&file=article&sid=4103

12 « shaw met l’accent sur le potentiel créatif de la zone frontière où un pied reste dans le monde réel, et l’autre dans le monde de l’imagination » Wilson s., information arts, the mit press, massachusetts institute of technology, 2001, réed. 2003

13 www.virtools.com

23

et des gyroscopes reliés à un ordinateur. Les données récoltées permettent de naviguer

dans l’univers généré par l’équipe de recherche. Pour cela un modèle informatique du

campus universitaire a été créé permettant d’y faire errer les différents monstres et d’y

insérer des obstacles. Le joueur voit ainsi l’univers de Quake superposé à celui, physique,

du campus dans lequel il se déplace. Comme pour la plupart des travaux de réalité

augmentée la principale difficulté est la superposition des mondes virtuels et réels : «to

make the quake world know where the user is much more complex. We are using combinations

of digital compasses, inclinometers, GPS tracking and pattern recognition technologies just to

work out exactly where we are in the real world, then tell quake about it. […] There are issues

of alignement of the two worlds, accurate tracking in the outside world and lighting problems

to solve. »14

L’apparition d’ARToolKit ouvre la voie à la réalité augmentée sur plateforme

mobile. Des 2001, BatPortal de Joseph Newman exploite un PDA afin de proposer

une alternative aux HMD. Mathias Möhring de son coté, propose en 2004 un système

de repérage de marqueurs 3D sur téléphone portable15. Les projets alors développés

se concentrent sur l’augmentation visuelle et font fréquemment appel à des appareils

préparés, notamment par l’ajout de capteurs de mouvements. A partir de 2007, les

nouvelles générations de smartphones donnèrent les outils permettant un développement

plus aisé d’applications de réalité augmentée. Les artistes Sander Veenhof et Mark Skwarek

tirèrent profit afin de faire entrer la réalité augmentée au MoMA (Museum of Modern

Art) à New York en octobre 2010. A l’aide d’une application nommée Layar16 qu’il

télécharge, le spectateur peut déambuler à la recherche de sculpture en réalité augmentée

(Fig. 4). En fonction de sa position dans le musée et à l’aide d’un repérage de forme il lui

14 « informer le monde de Quake d’où se trouve l’utilisateur est beaucoup plus complexe. nous utili-sons une combinaison de compas numériques, d’inclinomètres, de repérage gps et de reconnaissance de forme pour trouver exactement où nous nous situons dans le monde réel, puis en informer Quake. […] il y a des problèmes d’alignement des deux mondes, de précision de repérage dans le monde réel et d’éclairage à résoudre. » wearables.unisa.edu.au/projects/arquake/

15 moHring m., lessig C., bimber o., « video see‐through ar on Consumer Cell‐phones », ismar ‘04 proceedings of the 3rd ieee/aCm international symposium on mixed and augmented reality. usa: ieee Compute, 2004

16 voir annexe 1

24

est alors possible de voir sur l’écran de son smartphone les sculptures virtuelles liées ou

non à des sculptures physiques.

fig.4 augmented reality art invasion ! , moma, octobre 2010

Opérant un métissage complexe entre réel et virtuel, le groupe d’artistes Blast

Theory est particulièrement actif dans l’usage des médias interactifs et des nouvelles

technologies. Sous forme de jeux à l’échelle d’une ville, les œuvres Can You See Me Now ?

(2001) et Uncle Roy All Around You (2004) mettent en relation des participant présents

dans la ville physique avec d’autre présents dans une ville virtuelle. A la frontière avec

la réalité augmentée, leurs ouvres explorent en profondeur les possibilités de la réalité

mixte.

3. réflexions sur la réalité augmentée

3 . 1 . pe rce p t i o n d e l ’a u gm e nt at i o n : l a s e n s at i o n d e p ré s e n ce

On peut voir dans les trompe-l’oeil un précédent artistique à la réalité augmentée.

Cette volonté d’imiter et de modifier le réel est une tendance récurrente dans l’art. Il

existe d’ailleurs plusieurs histoires de personnes ne pouvant distinguer un tableau de

la réalité. Encore mieux, certaines légendes racontent que des animaux eux mêmes se

sont fait prendre au piège d’une œuvre trop naturelle. Quand on regarde de plus près,

on s’aperçoit que les grandes périodes du trompe-l’oeil ont eu lieu à la Renaissance –

période où l’on découvrait les lois mathématiques de la perspectives – et au XVIIème

25

siècle – période de développement des sciences de l’optique. En plus de leur lien avec le

développement de la science, les trompe-l’oeil ont cette particularité de ne pas s’appliquer

qu’au seul cadre académique de la peinture mais au contraire d’investir l’environnement

du spectateur en trouvant leur place sur des bâtiments, murs, portes... Dans un trompe-

l’oeil les notions de réalité et de virtualité deviennent floues et tout concourt à jouer avec

le spectateur, l’induire en erreur, questionner sa perception du réel.

De même la réalité augmentée met au défi la perception de son utilisateur.

Suivant l’usage qui en est fait le soin accordé au réalisme des éléments virtuels et à leur

intégration est plus ou moins grand, jusqu’à les rendre indissociables des éléments

réels. Contrairement au trompe-l’oeil limité au seul sens de la vue, la réalité augmentée

s’adresse à tous les sens: la vue, l’ouïe, le toucher et dans une moindre mesure, car encore

peu explorés, le goût et l’odorat. Le défi proposé est alors d’autant plus grand que cette

technologie dispose d’un potentiel immersif extrêmement fort: si plusieurs sens sont

stimulés en même temps de façon réaliste, comment est-il possible de discerner le virtuel

du réel?

Par ailleurs, la réalité augmentée signifiant l’intégration du virtuel dans le réel,

une télévision diffusant un dessin animé peut-elle être considérée comme de la réalité

augmentée ? Bien qu’elle permette cette intégration il lui manque un élément essentiel :

l’augmentation nécessite un lien fort avec le réel. Dans son ouvrage The Ultimate Display,

souvent considéré comme le fondement de la réalité virtuelle, Ivan Sutherland écrit :

« The ultimate display would, of course, be a room within which the

computer can control the existence of matter. A chair displayed in such a room

would be good enough to sit in. Handcuffs displayed in such a room would be

confining, and a bullet displayed in such a room would be fatal. With appropriate

programming, such a display could literally be the Wonderland into which Alice

Walked. »17

17 « l’écran parfait serait, bien sur, une pièce dans laquelle un ordinateur contrôle l’existence de la matière. une chaise exposée dans une telle pièce permettrait de s’y assoir. Des menottes exposées dans

26

Contrairement aux moyens de diffusion comme la télévision, Sutherland insiste

sur le fait que l’« interface ultime » doit permettre l’immersion et l’interaction. Dans la

réalité augmentée, comme dans la réalité virtuelle, il doit donc exister un lien fort entre

les objets insérés et la réalité qui leur sert de support.

La notion d’immersion fait appel aux stimuli générés numériquement et dénote

leur capacité à nous faire ressentir le monde virtuel. Pour Frank Biocca et mark Levy, elle

se définit de la façon suivante : « the degree to which a virtual environment submerges the

perceptual system of the user. »18

Pour obtenir cela, Jonathan Steuer19 définit deux caractéristiques nécessaires aux

systèmes hardware :

− « breadth » : le nombre de sens stimulés

− « depth » : la résolution de l’interface

Ensembles, ils permettent d’obtenir l’immersion. Si la réalité augmentée ne fait

pas appel à un univers entièrement synthétique, ces deux critères restent néanmoins

nécessaires afin de permettre le contact avec les objets virtuels incrustés.

D’autre part Steuer définit trois critères propre à permettre l’interaction :

− « speed » : la vitesse à laquelle le système peut assimiler et traiter les informations

− « range » : la quantité d’actions qu’il peut potentiellement effectuer

− « mapping » : la capacité du système à réagir de façon naturelle aux changements

une telle pièce seraient entravantes , et une balle matérialisée dans une telle pièce serait mortelle. avec une programmation adéquate, une tel écran pourrait littéralement être le pays des merveilles dans lequel alice s’est aventurée. » i. e. sutherland, « the ultimate Display », proceedings of ifip’65, 1965, pp. 506–508

18 « le degré auquel un environnement virtuel submerge le système perceptif de l’utilisateur. » bioCCa f., levY m.r., Communication in the age of virtual reality, Hillsdale, 1995

19 steuer J., « Defining virtual reality : Dimensions Determining telepresence », Journal of Communi-cation 42, 1992, pp. 73-93

27

qu’il perçoit

En d’autres termes, il s’agit ici d’observer la façon dont l’utilisateur peut se

déplacer et interagir avec les éléments insérés.

Ainsi l’immersion correspond à la vraisemblance des informations sensorielles

tandis que l’interaction est le lien établi entre l’utilisateur et le virtuel. La réunion des

deux donne naissance à ce qui est nommé la sensation de « présence ». Bien qu’elle soit

définie de différentes façons, on peut la décrire de manière simple comme « the sense of

being in an environment »20, l’illusion de ne pas subir de médiation technologique21.

Au contraire de l’immersion et de l’interaction qui sont fondées sur une

expérience physique, la présence intègre des paramètres psychophysiques. Elle prend

naissance dans la perception du spectateur et présente des composantes psychologiques

et subjectives, en plus de celles objectives et physiques.

Pour en donner un exemple, nous pouvons prendre une expérience réalisée par

Ivan Sutherland avec son premier système de HMD22. Un volontaire fut atteint d’une

crise de panique alors que le HMD lui diffusait les images d’un précipice. Pourtant au

cœur du laboratoire, cette personne était persuadé d’être sur le point de tomber et ne put

se calmer qu’une fois le dispositif retiré. Bien que cette expérience n’ai pas une dimension

immersive et interactive aussi importante qu’avec les systèmes actuels, la sensation de

présence, violente, qu’a éprouvé cette personne témoigne de sa dimension psychologique

et démontre le potentiel d’une telle technologie.

20 « la sensation d’être présent dans un environnement » gibson J., the ecological approach to visual perception, Houghton mifflin, boston, 1979

21 pour plus de précision concernant la notion de présence : Wagner i., « on the rôle of presence in mixed reality », presence, vol.18, n°4, 2009, pp. 249-276

22 grau o., virtual art from illusion to immersion, mit press, 2003, p.163

28

3 . 2 . prat i q u e r l a ré a l i té a u gm e nté e m o b i l e

Dans un premier temps après l’apparition de la réalité augmentée la majorité des

systèmes développés ont concerné des applications en intérieur. De tels environnements

sont aisément contrôlables et soumis à peu de contraintes – variation d’intensité lumineuse

par exemple. Les avancées effectuées récemment en matière d’informatique mobile –

principalement les smartphones et tablettes – rendent possible le développement de

programmes plus complexes permettant d’employer la réalité augmenté en extérieur.

La mise en œuvre de tels systèmes présente plusieurs enjeux23 :

− La mobilité de l’utilisateur dans un environnement non restreint et non

préparé rend sa localisation difficile24

− La quantité d’informations auxquelles il est nécessaire d’accéder, en temps

réel, implique une gestion optimisée des ressources de traitement, de stockage et de

communication

− La prise en charge de l’interaction avec les objets virtuels est à penser suivant

les fonctionnalités des différents hardwares utilisés

Ainsi il est nécessaire d’explorer la synergie entre réalité augmentée et informatique

mobile afin de mettre au point des architectures – matérielles et logicielles – adaptées aux

environnements extérieurs.

L’une des difficultés d’un environnement non préparé est l’insertion géographique

des objets virtuels. Comme nous l’avons vu avec ARQuake, un modèle informatique de

l’espace où se déroule l’expérience est nécessaire afin d’y faire évoluer les personnages. Ce

modèle est garant de la crédibilité de l’augmentation : en effet, un monstre traversant un

23 ZenbJebil i. m., ababsa f., DiDier J.-Y., vairion J., frauCiel l., HaCHet m., guitton p., Delmont r., « réalité augmentée en extérieur : enjeux et etat de l’art », 10th aCm/ieee virtual reality international Conference, laval, 2008

24 nous reviendrons sur les problèmes de géolocalisation dans les parties 2.3. et 2.4.

29

mur serait une aberration et décrédibiliserait ARQuake. De tels gabarits sont fréquents

afin de tirer le meilleur parti des éléments virtuels. En plus d’améliorer l’insertion, ils

permettent de rendre la géolocalisation du participant plus précise en définissant des

zones où sa présence est impossible – bâtiments par exemple. En contrepartie l’expérience

est alors limitée à un lieu précis et balisé. Antonin Fourneau n’a pas souhaité que son

projet Oterp25, jeu musical en réalité augmentée, subisse de contrainte de lieu. Pour cela,

le jeu est scénarisé de façon à ce que de tels modèles ne soient pas nécessaires ; le joueur

peut acquérir des pouvoirs lui permettant d’attraper à distances les objets, résolvant le

problème de ceux inaccessibles physiquement.

Une autre solution consiste en l’emploi de marqueurs disséminés dans la scène

réelle. Cela peut permettre de renseigner le système sur la position de l’utilisateur dans

les cas où la localisation par GPS est inexploitable et celle issues de réseaux GSM ou

WIFI trop peu précise26. C’est notamment l’application qui en est faite en muséologie

où la présence d’une balise, fréquemment un QR Code – code barre à deux dimensions

– permet d’accéder au contenu d’un audioguide. L’utilisation de balises s’est largement

répandue suite au succès de la bibliothèque ARToollKit. Celle-ci propose des marqueurs

carrés aux bords noirs sur fond blanc à l’intérieur desquels un pattern permet de les

identifier.

4. l’audition augmentée

4 . 1 . D i f fé re nte s o e u v re s

Comme nous l’avons vu la réalité augmentée s’est principalement développée

autour de son aspect visuel, les différents systèmes ayant permis l’utilisation des sons

comme sujets augmentables mais toujours en lien avec une image. Il existe malgré tout

des exemples de réalité augmentée uniquement sonore.


26 voir chapitre 2.3.3

30

On trouve parmi les premières expériences réalisées Trace27 que Teri Rueb

présenta pour la première fois en 1999. Trace est une installation sonore transformant le

réseau de randonnée du parc naturel de l’Yoho au Canada en un lieu de mémoire abordant

les notions de perte, d’absence et de transformation. Une banque son constituée de textes

enregistrés permet au randonneur muni d’un sac à dos spécial, contenant un ordinateur

et un GPS, d’accéder à l’enregistrement associé au lieu où il se trouve. Pour mêler le

texte aux sons ambiants, celui-ci est alors diffusé à faible volume dans un casque ouvert.

La même année Stefan Schemat propose Osmotic Mind, une fiction sonore en réalité

augmentée, où le spectateur muni d’un dispositif similaire au précédent peut marcher à

travers Berlin sur les pas des personnages de Berlin Alexenderplatz pour entendre des sons

élaborés à partir de ce roman.

De son côté Ian Mott propose avec Sound Mapping une augmentation musicale.

Dans cette œuvre collaborative les participants disposent chacuns d’une valise contant

un GPS, un ordinateur portable, un gyroscope et un odomètre. En fonction de leurs

mouvements et de leurs positions les valises génèrent la musique. Selon Ian Mott, le lien

qui existait entre le monde physique et la musique a disparu en Occident. L’augmentation

permet alors de le retrouver : « Music will on occasions strive to represent locations. It will

however also be produced to contrast and challenge people’s perceived notions of place, time

and motion. »28

Plus récemment l’arrivée des smartphones a permis la création de projets mêlant

réalité augmentée sonore et jeu dans l’espace urbain. Un exemple est le Oterp de Antonin

Fourneau, actuellement en développement. Dans cette application le joueur génère une

musique en fonction d’objets musicaux disséminés dans son environnement. Il peut

ensuite les collecter pour former lui même des séquences musicales.

27 http://www.terirueb.net/trace/index.html

28 « la musique va par moment s’efforcer de représenter le lieu. elle sera cependant aussi générée afin de contraster et déstabiliser les perceptions de lieu, de temps et de mouvement du participant. » http://reverberant.com/sm/paper.htm

31

4 . 2 . Q u’e s t - ce q u’a u gm e nte r l ’a u d i t i o n ?

Pour aborder l’augmentation de l’audition nous pouvons nous inspirer

des principes que Ronald Azuma exprime dans sa publication29. En appliquant les

caractéristiques qu’il y définit30 les sons doivent être augmentés en trois dimensions, c’est

à dire qu’il faut pouvoir contrôler leur spatialisation et permettre leur intégration dans

l’environnement. A l’instar de l’image qui emploie des HMD permettant la stéréoscopie,

le son doit bénéficier d’un casque stéréophonique. Il faut donc être en mesure de connaître

les mouvements de l’auditeur afin de fournir une image sonore qui soit cohérente. Se pose

alors une question : celle de la gestion des sons réels. Faut-il faire appel à un dispositif

permettant de les entendre naturellement – comme un casque ouvert – ou employer

une médiation technologique – les recueillir par l’intermédiaire de microphones et les

réinjecter dans un casque ? Cette question est dépendante des moyens employés et des

problèmes de la latence entrainés par le traitement informatique.

Augmenter l’audio peut ensuite prendre plusieurs formes. A l’image de Trace de

Teri Rueb il peut s’agir de l’insertion de sons. Il est alors nécessaire de mettre en place un

scénario les régissant. Une incrustation fréquente est celle de voix, c’est le cas des audio-

guides augmentés qui donnent accès aux commentaires des œuvres selon la position du

visiteur. Un tel procédé peut aussi donner l’occasion de ré-associer des sons aux appareils

qui en étaient la source. Dans ce sens le Conservatoire des Arts et Métiers a expérimenté

un audio-guide faisant entendre le bruit des machines exposées dans son musée31. De la

même façon, il est possible de faire entendre des éléments dont on ignore la présence,

comme dans Topophonie mobile32 où le visiteur découvre par le son les flux aquatiques

présents dans le sous-sol des pentes de Belleville, à Paris.

29 aZuma r., « a survey of augmented reality », presence : teleoperators and virtual environments 6, aout 1997, p. 363-364


31 KagHat f.-.Z., le praDoC., Damala a., CubauD p., « experimenting with sound immersion in an arts and Crafts museum », http://cedric.cnam.fr/index.php/publis/articla/view?id=1811

32 www.futur-en-seine.fr/evenement/topophonie/

32

Par ailleurs, l’augmentation permet une transformation de l’environnement

sonore. Il est possible de récupérer les sons ambiants pour leur appliquer un traitement ;

leur faire subir un mouvement, des échos, changer leur tonalité... L’application pour

iPhone RjDj33 utilise fréquemment les effets de délai et de transpositions dans ses

différentes scènes sonores. Elle récupère les sons captés par le micro du smartphone afin

de leur appliquer des traitements destinés à les rendre musicaux.

Il peut aussi s’agir d’une augmentation musicale. Dans RjDj, la musique

est générée en fonction de l’environnement et de l’utilisateur. Elle entretient un lien

extrêmement fort avec le monde réel qui en régit la création et lui fournit des matières

sonores. Il est possible de se servir des données issues du smartphones pour influer sur

le tempo ou le volume, faire entrer des pistes instrumentales... L’augmentation permet

ici de mettre en contexte l’évolution musicale afin d’accompagner les faits et gestes du

participant.


33

ParTie ii. la TeChnoloGie smarTPhone

34

1. généralités

Les smartphones, officiellement nommés «terminaux de poche» ou «ordiphones»

en France, sont des téléphones portables construits sur la base d’une unité de traitement

informatique mobile. Là où les téléphones cellulaires classiques disposent uniquement

des fonctions de téléphonie, envoie et réception de messages textes et d’un répertoire,

les smartphones possèdent de nombreuses autres fonctionnalités, comme celles de PDA,

lecteur de médias, appareil photo, GPS, navigateur internet, WiFi...

Les principaux systèmes d’exploitation sont l’iOS de Apple, Android de Google,

Symbian de chez Nokia et de façon moins répandue Windows Phone de chez Microsoft,

Blackberry de RIM ainsi que des systèmes embarqués Linux comme Maemo et MeeGo.

1 . 1 . H i s to i re

La téléphonie mobile portable remonte à 1973, date à laquelle un chercheur

de Motorola nommé Martin Cooper présenta le premier téléphone mobile portable

dont le poids était alors d’environ un kilogramme. Vingt ans plus tard, en 1993, IBM

commercialisait le premier smartphone: le Simon34 au prix de 899$, pour un poids

de cinq cents grammes. Le Simon possédait déjà des caractéristiques semblables à ses

homologues actuels: écran tactile, fonctionnalités de PDA, gestion des e-mails et fax,

jeux... Il disposait de plus d’un écran tactile de 160x293 pixels. Il faudra attendre 1997

pour voir apparaître le terme de «smartphone» employé pour la première fois par Ericsson

pour son GS88.

En 1996 Nokia lance la gamme Nokia Communicator, réunissant au sein d’un

même combiné un téléphone et un PDA et faisant appel à partir de 2001 au système

d’exploitation Symbian, que Nokia rachètera en 2008.

Le 9 janvier 2007 marque un tournant dans l’histoire des smartphones: Apple

34 http://research.microsoft.com/en-us/um/people/bibuxton/buxtoncollection/detail.aspx?

35

présente le tout premier iPhone qui, du fait de son succès immédiat, a fixé des standards

pour les téléphones à venir. L’iPhone présente la première technologie tactile multipoint

stable sur un téléphone portable et rassemble pour la première fois un nombre important

de capteurs, une caméra, un accès à internet ou encore une grande résolution graphique.

Une ses forces est sans doute le succès de la boutique en ligne «App Store» permettant

de télécharger de nombreuses applications, plus de 500 000 sont dénombrées en mars

2012.

En réaction l’Open Handset Alliance35 (OHA) est formée le 5 novembre 2007.

Ce consortium de 84 sociétés mené par Google et réunissant des entreprises comme

HTC, Samsung Electronic, Sony, Dell, Intel et Motorola, a pour but de développer

des normes ouvertes pour la téléphonie mobile. L’OHA à dévoilé lors de sa création le

système d’exploitation Android, en concurrence directe avec les géants du marchés que

sont l’iOS d’Apple, Symbian et Blackberry.

De nos jours les smartphones font penser à des ordinateurs intégrés dans des

téléphones portables, des plateformes informatiques disposant des ressources nécessaires

au développement et à l’exploitation d’applications dépassant le cadre de la téléphonie

et de la télécommunication. On est pleinement dans ce que Mark Weiser a définit

comme ubiquitous computing, souvent traduit par intelligence ambiante ; c’est à dire des

ordinateurs omniprésents et «invisibles» interconnectés dans un réseaux global que les

gens utilisent de manière inconsciente pour accomplir leurs taches quotidiennes36.

1 . 2 . m a rc h é

2011 est une année charnière pour le monde de la téléphonie mobile, elle marque

l’adoption par le grand public des smartphones dont la vente a pour la première fois

dépassé celle des téléphones mobiles classiques. Fin 2011, 42% des usagers de téléphones

35 http://www.openhandsetalliance.com/

36 Weiser m., « the Computer for the twenty-first Century », scientific american, septembre 1991, p94-104

36

mobiles américains et 44% de ceux européens (Royaume-Uni, France, Allemagne,

Espagne et Italie) en possédaient un. La prolifération des smartphones s’accompagne

d’une hausse importante de la consommation de médias – accès au web, téléchargement

d’applications et de contenus multimédias. L’accès à internet depuis une unité mobile –

smartphones principalement mais aussi tablettes – représente une part signifi cative du

trafi c global : 9,5% au Royaume-Uni, 8,2% aux Etats-Unis ou encore 2,8% en France,

deux tiers des utilisateurs consultent régulièrement les réseaux sociaux, principalement

Facebook et Twitter. D’autres sites comme le commerce en ligne, l’accès aux réseaux

d’information sur la santé ou l’emploi sont en forte augmentation.

fig.5 part des smartphones dans téléphonie mobile, comscore, Dec. 2011

fig.6 possesseurs de smartphones (en millions), comscore, Dec.2011

37

Le marché des smartphones se répartit autour de cinq systèmes d’exploitation

principaux que sont iOS (Apple), Android (Google), Symbian, Blackberry (RIM) et les

systèmes d’exploitation de Microsoft (Windows Mobile et Windows Phone), d’autres

systèmes, le plus souvent propres à un constructeur comme Bada chez Samsung, tentent

aussi de se faire une place sur le marché. Deux systèmes se partagent près de 75% du

marché: iOS (entre 10% et 30% selon les marchés) et Android (entre 20% et 50%),

plaçant l’ancien leader Symbian à la troisième place. Cependant, s’il s’agit de la tendance

du marché mondial certains pays se distinguent, notamment le Japon où Android et iOS

représentent respectivement 60% et 34% du marché, et le Canada où Android, iOS et

Blackberry représente chacun environ un tiers du marché.

fig.7 vente mondiale de smartphones par systèmes d’exploitation, gartner inc.

38

fig.8 répartition française des diff érents systèmes d’exploitation, comscore, Dec.2011

En juillet 2008 Apple introduit en même temps que l’iPhone 3G un service

nouveau: l’«App Store», en grande partie responsable de son succès commercial. L’ «App

Store» permet d’acheter et de télécharger en ligne les applications développées pour

iPhone. Suite à cela, les diff érents OS se sont vus eux aussi créer un application store:

«Google Play» pour Android, «Ovi App Store» pour les Nokia fonctionnant sous Symbian,

« BlackBerry App World » pour BlackBerry et « Windows Phone Marketplace » chez

Windows. Preuve du succès de ces magasins en ligne et de l’intérêt des utilisateurs pour

les applications sur smartphone l’Apple App Store dépasse début mars 2012 la barre des

25 milliards de téléchargements.

2. systèmes d’exploitation

2 . 1 . g o o g l e a n d ro i d

Android est présenté au public le 5 novembre 2007 par l’Open Handset Alliance,

puis commercialisé en novembre 2008, comme un système d’exploitation libre venant

concurrencer celui d’Apple. Fondé en 2003 en Californie Android inc. fut racheté en 2005

par Google qui en assure maintenant le développement et la maintenance. L’objectif de

l’OHA est de fournir un système d’exploitation ouvert et libre permettant d’équiper aussi

bien des smartphones que des tablettes. Ce système d’exploitation se retrouve donc chez

39

de nombreux constructeurs de smartphones – Samsung Galaxy, HTC One, Motorola

RAZR … – et de tablettes – Asus Transformer Prime, Archos 101, Acer Iconia ...

Android est un système d’exploitation open source utilisant un noyau Linux

et fonctionnant sous licence Apache open source licence v237, pouvant aussi accepter et

intégrer du code source régit par les licences par l’Open Source Initiative. Cette volonté

de se positionner dans le monde du logiciel libre permet l’existence d’une communauté

de développeurs étendant sans cesse les fonctionnalités d’Android. Le site Android

Developers38, indique que tout développeur a la possibilité de s’enregistrer sur Google

Play par le biais d’un compte Google afin d’y publier ses applications sans passer par

une procédure de validation potentiellement longue. Contrairement au fonctionnement

de l’Apple App Store, il n’est pas nécessaire de passer par Google Play pour obtenir une

application Android, cela étant aussi réalisable directement via le site du développeur ou

encore via tout autre site mettant l’application en ligne.

Si l’OHA permet de retrouver Android dans de nombreux smartphones cela

pose néanmoins un problème fondamental à tout développeur: chaque appareil possède

des performances et des caractéristiques différentes, obstacles à la portabilité de certaines

applications. Il est ainsi possible de mettre en place des restrictions permettant le

téléchargement d’une application aux seuls appareils ayant les caractéristiques requises à

son bon fonctionnement.

Android dispose aussi de sa plateforme de téléchargement en ligne : « Google

Play Store », anciennement appelé « Android Market ». En mars 2011 plus de 150 000

applications étaient téléchargeables dont plus de la moitié gratuitement. Y publier

nécessite de s’enregistrer en tant que développeur et de s’acquitter des frais de dossier.

Mais au contraire d’Apple, il n’est pas nécessaire de subir une procédure de validation.

De plus, il est possible de diffuser son application par d’autres moyens que le Google Play

37 http://www.apache.org/licenses/liCense-2.0.html

38 http://developer.android.com

40

Store ; cela est réalisable par le biais de sites tiers ou de mails.

2 . 2 . a p p l e i o s

iOS, anciennement iPhone OS jusqu’en juin 2010, est le système d’exploitation

des dispositifs mobiles d’Apple, d’abord développé pour l’iPhone. Il a ensuite été

utilisé pour de nouveaux appareils tels que l’iPad et l’iPod Touch. Contrairement à ses

concurrents de chez Google et Microsoft, l’iOS n’est installable que sur du hardware

Apple. Introduit en juin 2007 avec le premier iPhone, il effectue une véritable révolution

en proposant entre autre la première interface multi-points tactile fonctionnelle et une

ergonomie très bien conçue.

Un autre de ses attraits est l’App Store. Moins de quatre ans après son lancement

la barre des 25 milliards d’applications téléchargées était dépassée début mars 2012.

L’App Store est la plateforme en ligne permettant le téléchargement des applications

programmées pour iOS. Toute application – et ses mises à jours – est soumise à une

procédure de validation et Apple se réserve le droit d’accepter ou non sa publication.

Cependant, si le SDK de iOS et le simulateur sont publié gratuitement, seules les

bibliothèques fournies Apple sont utilisables – d’autres bibliothèques pouvant entrainer

un refus de publication. De plus la diffusion dans l’App Store, ainsi que la possibilité

de tester son programme sur son iPhone, nécessite la suscription au programme de

développement.

2 . 3 . sy m b i a n

Symbian se retrouve principalement dans les smartphones de la marque Nokia.

Elle l’a d’ailleurs racheté intégralement en 2008. Longtemps leader du marché, il subit

de plein fouet l’entrée sur le marché de l’iOS et de Android, au point qu’en février 2011

Nokia annonce qu’il l’abandonne au profit de Windows Phone.

Depuis mai 2009 les smartphones Nokia exploitant Symbian disposent de

41

l’« Ovi App Store ». En 2010 il comptait aux alentours de deux millions de téléchargement

d’applications par jours.

2 . 4 . m i c ro s o f t Wi n d ows m o b i l e ph o n e e t Wi n d ows ph o n e

En 2003 Windows sort son premier OS destiné aux téléphones portables :

Windows Mobile, concurrent direct du Blackberry du fait des ses fonctionnalités, puis

fin 2010 : le Windows Phone. Depuis février 2011 Windows Phone est devenu le système

d’exploitation des appareils Nokia.

Windows possède la plateforme en ligne Windows Phone Marketplace où

sont téléchargeables applications, jeux, vidéos... Comme chez Apple, toute publication

d’application est soumise à une procédure de validation et nécessite de s’acquitter de frais

de mise en ligne.

2 . 5 . r i m b l a c k b e r r y

Research In Motion (RIM) sort en 1999 le premier modèle de la série BlackBerry.

Il faut cependant attendre 2003 pour que le modèle qui fait la réputation de la marque

soit commercialisé. Ce modèle principalement destiné au marché de l’entreprise permet

une gestion novatrice et aisée des emails, ce qui lui a valu son succès.

BlackBerry utilise son propre OS, le BlackBerry OS, et dispose aussi d’une

plateforme de téléchargement d’applications : BlackBerry App World. Cependant à

l’heure actuelle aucune application de réalité augmentée n’y est présente, la plateforme

BlackBerry n’a pas encore été exploitée pour ce type de technologie.

2 . 6 . au t re s s ys tè m e s

De nombreux autres OS existent. Bada développé par Samsung depuis février

2010 pour ses smartphones et tablettes et disposant de la plateforme de téléchargement

Samsung Apps. Palm Inc. développe depuis 1996 le Palm OS pour ses produits. D’autres

42

OS basés sur des systèmes embarqués Linux comme MeeGo et Maemo se trouvent aussi

sur le marché.

3. fonctionnalités

3 . 1 . pu i s s a n ce d e c a l c u l

Bien que très récents, leurs performances actuelles sont très loin de celles de

leur origine en 2007. L’augmentation constante de la puissance de leurs processeurs et de

leur mémoire RAM leur permet maintenant de rivaliser avec des ordinateurs portables ;

Motorola propose des stations et écrans dédiés à son smartphone Atrix afin de l’utiliser

en tant qu’ordinateur portable.

On trouve aujourd’hui sur le marché des processeurs allant jusqu’aux quatre

cœurs à 1,5GHz. L’augmentation constante de la puissance de calcul est nécessaire afin

d’assurer la gestion graphique de jeux-vidéo, marché en pleine expension.

3 . 2 . r é s e a u x

Il existe plusieurs types de réseaux déployés à travers le monde dont les

évolutions sont principalement dictées par l’augmentation du débit de donnée vers les

unités mobiles. Quatre générations coexistent actuellement :

− 1G : AMPS (Advanced Mobile Phone Service), TACS (Total Access

Communication System) et NMT (Nordic Mobile Telephone)

− 2G : GSM (Global System for Mobile), GPRS (General Packet Radio Service)

et son évolution EDGE (Enhanced Data for Global Evolution)

− 3G : UMTS (Universal Mobile Telecommunications System) et ses évolutions

HSPA (High Speed Packet Access) : HSDPA (High Speed Dowlink Packet Access), HSUPA

(High Speed Uplink Packet Access) et HSPA+

43

− 4G : EPS (Evolved Packet System)

Contrairement aux générations suivantes basées sur une technologie

intégralement numérique, la 1G utilise une technologie analogique basée sur la

modulation FM. L’arrivée de la 2G l’a rendue obsolète.

Actuellement, les réseaux de deuxième et troisième générations sont largement

répandus. En revanche ceux de quatrième génération sont en cours de déploiement ; seul

le Japon en possède un eff ectif.

fig.9 réseaux mobiles, débits théoriques (a : débit descendant ; b : débit montant) d’après perez a. architecture des réseaux de mobiles, p. 12

S’il s’agit ici des débits théoriques, les débits eff ectifs sont quant à eux bien

inférieurs. Ils sont de plus fonction de la couverture réseau fournie par l’opérateur et

donc très disparates.

3 . 3 . g é o p o s i t i o n n e m e nt

Les smartphones sont pour la plus grande majorité équipés d’une puce GPS.

Le géopositionnement a alors recours à plusieurs méthodes : GPS, réseaux GSM et WiFi

principalement. Si dans tous les cas le but est l’analyse du l’emplacement du smartphone,

les procédés et les degrés de précision sont très variables. Il faut ainsi avoir conscience

de l’importance du rôle de l’environnement : suivant le lieux certain réseaux ne sont pas

accessibles ou sont soumis à des perturbations.

44

Le GPS (Global Positioning System) est une méthode de géopositionnement

par satellite mise en place dans les années 1980 par l’armée américaine. Il s’agit d’un

maillage de 24 satellites géo-stationnaires situés a 22 000 km d’altitude. Chaque point

de la Terre étant visible simultanément par quatre satellites, il est alors possible d’obtenir

la localisation de l’appareil, avec une précision de l’ordre de 5m pour une utilisation

civile. Trois satellites sont nécessaires pour obtenir la longitude et la latitude, l’altitude

peut ensuite être déterminée à l’aide du quatrième satellite. Cependant cette technologie,

développée à la base pour une application navale, n’est pas utilisable en intérieur et sa

précision peut être grandement diminuée suivant son entourage – par réflexion sur des

murs par exemple.

Si le GPS bénéficie toujours d’un large succès commercial, il n’est cependant

pas le seul système de géolocalisation par satellites. On peut citer le projet européen

Galiléo : encore en cours de développement, il permettra une précision inférieure au

mètre dans son application civile.

D’autre part la localisation par GSM se base sur la structure en cellules de

son réseau. Chacune d’entre elles contient un BTS (Base Transciever Station) prenant

en charge les communications radios des téléphones mobiles, lui même relié à un BSC

(Base Station Controler) assurant le passage d’une cellule à l’autre. Lorsqu’un utilisateur

s’identifie à un réseau son numéro IMEI (International Mobile Equipement Identify),

code à quinze chiffres contenu dans la carte SIM, est transmis au système de gestion de

l’opérateur afin de l’autoriser à utiliser ses services. La localisation par GSM utilise ainsi

la structure de son réseau de quatre façons :

− L’identification par cellule : simple et peu onéreuse, la localisation s’effectue

au travers de l’adresse du BTS auquel l’unité est connectée. La précision est très faible :

de 250 mètres en zone urbaine à 10 kilomètres en zone rurale

− L’identification par angle d’arrivée : la connaissance de l’angle d’arrivée et de

la puissance du signal provenant d’un téléphone vers une antenne – ou l’angle d’arrivée

45

sur deux antennes distinctes – permet de déterminer une position avec une précision

allant de 50 m à 150 m

− L’identification par triangulation : il est possible d’établir un rapport de

distance entre trois stations BTS à partir de la puissance du signal signal reçu par le

mobile. Sa précision, entre 50 m et 150 m, est dépendante de l’implantation et de la

densité des antennes.

− L’identification par différence temps : ces méthodes, TDOA (Time Difference

Of Arrival) et EOTD (Enhanced Observed Time Difference), reposent sur l’émission d’un

signal depuis trois BTS vers le mobile (TDOA) ou du mobile vers trois BTS (EOTD).

L’analyse des différences de temps d’arrivée permet d’obtenir une localisation allant de

50 m à 150 m du téléphone. Cependant cela impose une synchronisation exacte des

BTS, une erreur de 1µs entrainant une imprécision de 150 m.

La localisation par WiFi est similaire à celle par GSM à la différence qu’elle fait

appel à des bornes WiFi fixes et répertoriées.

Afin de faire face aux différents inconvénients de chaque méthode, les

smartphones ont la possibilité de les combiner pour obtenir une meilleure précision.

Le suivi d’un appareil en intérieur se fait nécessairement par GSM ou WiFi, le

GPS y étant inexploitable.

3 . 4 . Ca p te u r s : a ccé l é ro m è t re , g y ro s co p e e t m a gn é to m è t re

Trois types de capteurs permettent de rendre compte de l’ensemble des

mouvements que peut effectuer un smartphone : il s’agit des accéléromètres, gyroscopes

et magnétomètres. Ces capteurs ne permettent d’obtenir des mesures que selon un seul

axe, pour retranscrire des mouvements dans l’espace il est donc nécessaire d’en utiliser

trois. Si par abus de langage on dit qu’un smartphone est équipé d’un accéléromètre, il

en comporte en réalité trois ; de même pour les gyroscopes et les magnétomètres. Ces

46

capteurs ont avant tout été installés pour transformer les smartphones en plateformes de

jeux vidéo.

Afin de s’adapter aux contraintes d’encombrement et de consommation la

technologie MEMS (MicroElectroMechanical System) est employée. La taille des capteurs

n’excède pas deux ou trois millimètres et leur besoin en énergie est très faible.

− Accéléromètre :

Il permet de mesurer l’accélération linéaire selon un axe, c’est à dire les

mouvements de translation. Celle-ci est définie en m/s2 mais se trouve souvent exprimée

en « g », accélération causée par la gravitation terrestre (g=9,80 m/s2). Il permet plusieurs

types de mesures : accélération, vitesse – par intégration – et déplacement – par double

intégration.1

− Gyroscope :

Il permet de mesurer la vitesse angulaire autour d’un axe, c’est à dire les

mouvements de rotation. Celle-ci est définie en rad/s et utilise soit les propriétés du

moment angulaire soit celles de la force de Coriolis. Parmi les différents capteurs présents

dans les smartphones, les gyroscopes sont les plus précis et fiables.

− Magnétomètre :

Il permet de mesurer l’intensité d’un champ magnétique. Ces capteurs se

constituent de minces films de matériaux ayant une forte magnéto-impédance, ainsi

les variations d’impédance mesurées à leurs bornes rendent compte des variations du

champ magnétique local. Ils peuvent cependant être aisément perturbés par des champs

parasites : ceux des autres composants ou des masses magnétiques comme une voiture

ou un objet ferreux . Il existe heureusement des softwares spécifiques pour palier à ces

perturbations.

Ces trois capteurs sont sous la forme de hardwares, ils expriment leurs données

47

directement en fonction de propriétés physiques – accélération, rotation, champ

magnétique. Il est nécessaire de faire la distinction avec ceux présents sous forme de

softwares39. Parfois appelés capteurs virtuels ou synthétiques, ils font appel à un ou

plusieurs capteurs hardware dont ils traitent les données. Un exemple est la boussole :

il s’agit d’un capteur sous forme de software exploitant les données en provenance des

magnétomètres, souvent combinées à celles des gyroscopes pour une meilleure précision.

Les chipsets portant le nom de boussole que l’on retrouve dans certains smartphones,

comme l’iPhone 3Gs par exemple, sont en réalité constitués de magnétomètres.

3 . 5 . s o n

Les smartphones présents sur le marché disposent d’un micro et d’un haut-

parleur intégrés. Ils disposent de plus d’une sortie stéréo et d’une entrée micro mono,

presque toujours au travers d’une embase jack quatre points. Ils permettent aussi de lire

l’ensemble des formats audio, compressés ou non, avec des différences d’un modèle à

l’autre.

Des accessoires ont été créés pour iPhone 4S afin d’en étendre les capacités.

On trouve chez Tascam un micro stéréo ou chez Fostex l’interface AR-4i disposant de

trois entrées monos et d’une sortie stéréo. Les softwares associés permettent de gérer du

multicanal en entrée et donc d’envisager des applications au monde de l’audio ; l’iPhone

est déjà fréquemment employé comme enregistreur de terrain par certain journalistes.

3 . 6 . e n e rgi e

La consommation d’énergie dépend de deux facteurs :

− Le hardware et software de l’appareil

− Le type d’interaction et d’application utilisés

39 le site dédié au développement sous android donne des informations précises à ce sujet en ce qui concerne la gestion des capteurs sous forme de hardware et de software, dans le cadre de cet os. http://developer.android.com/guide/topics/sensors/sensors_overview.html

48

Les principaux ennemis de l’énergie sont les contraintes de taille et de

poids appliquées aux appareils. Si il est possible de réduire la taille des composants

consommateurs – CPU, capteurs, écran... – de façon plus que significative, la taille des

batteries n’a, en comparaison, qu’à peine diminuée.

Selon l’utilisation de l’appareil, on peut distinguer plusieurs cas de consommation

d’énergie ; en veille, communications téléphoniques, accès à un réseau 3G, gaming...

Quoi qu’il en soit, les smartphones les plus puissants dépassent rarement une autonomie

hors veille d’une dizaine d’heures au mieux, quelque soit leur emploi.

De façon générale, l’énergie est dépensée en majorité dans les modules de

communication – principalement 3G et GSM – l’affichage – écran, chipset graphique,

rétro-éclairage – et le CPU . Au contraire, les mémoires RAM et flash ainsi que l’audio

sont les éléments les moins consommateurs. Au total, cette dernière représente moins

de 12% de la consommation et est très peu sensible au niveau d’écoute40. En ce qui

concerne les réseaux, la 3G consomme le plus. Le GSM consomme entre 40% et 70%

de moins, tandis que le WiFi ne nécessite qu’un sixième de l’énergie de la 3G – une fois

connecté à un point d’accès41.

4. Développer pour un smartphone

4 . 1 . Co nt ra i nte s te c h n i q u e s

Les smartphones sont ce qui se fait sans doute de mieux à l’heure actuelle en

terme d’informatique mobile. A l’intérieur d’un boitier pouvant tenir dans la main on a

accès à une foule de capteurs, à une puissance de calcul rivalisant avec certains ordinateurs

et à un nœud de communication. Cependant ce type d’intégration ultra compact a un

40 Carroll a., Heiser g., an analysis of power Consumption in a smartphone, http://static.usenix.org/event/usenix10/tech/full_papers/Carroll.pdf

41 balasubramanian a., balasubramanian n., venKataramani a., energy Consumption in mo-bile phones : a measurement study and implications for network applications, university of massachusetts amherst, 2010

49

coût.

Les capteurs à base de technologie MEMS disposent d’une précision

toute relative ; les plus fiables étant les gyroscopes. Il est ainsi souvent nécessaire

de croiser leurs données afin d’augmenter la fiabilité des résultats.

Il en va de même pour la géolocalisation. Le GPS nécessite un temps

d’initialisation d’une vingtaine de secondes, une première approximation

est alors souvent faite à l’aide des réseaux GPRS et WiFi. Il est aussi souvent

nécessaire d’additionner à cette localisation absolue une localisation relative – à

l’aide des capteurs embarqués – afin de palier aux différents problèmes de temps

de rafraichissement, perte de signal, précision... Ceci est d’autant plus important

dans le cas de la réalité augmentée où il est indispensable de connaître très

précisément la position et l’orientation de l’utilisateur pour garantir la qualité

de son expérience.

Enfin il faut avoir conscience que les ressources dont dispose un

smartphone sont moins importantes que celles d’un ordinateur. Il est donc

indispensable de veiller à l’optimisation du code. De plus, un ensemble

de fonctions de base sont en permanence exploitées – SMS, téléphonie... –

l’application développée doit pouvoir s’y intégrer sans risquer de générer des

problèmes, comme une saturation de processeur.

4 . 2 . pre n d re e n co m p te l ’ u t i l i s ate u r

A l’heure actuelle, les différentes philosophies de programmation

partent d’un postulat : le smartphone reste avant tout un téléphone et est utilisé

en tant que tel. De ce fait la priorité est donnée aux fonctions d’appels qui sont

presque impossibles à court-circuiter. Ainsi lors d’un appel entrant, l’application

ouverte sera interrompue automatiquement et ne pourra reprendre qu’une fois

celui-ci terminé. Il serait cependant envisageable de considérer l’inverse : une

50

priorité donnée à l’application. On pourrait imaginer qu’en cas d’appel entrant,

seul un message le signalant s’affiche dans un coin de l’écran afin de ne pas

perturber l’utilisation qui est faite de l’application.

L’utilisation de l’énergie est aussi une problématique centrale.

Exploiter réseaux et capteurs, additionnés aux traitements effectués, devient

rapidement coûteux ; d’autant plus dans le cas de la réalité augmentée visuelle.

En utilisation normale, l’autonomie des smartphones les plus puissants ne

dépassant pas la journée, une application peu optimisée risquerait d’épuiser la

batterie en l’espace d’une demi-heure.

Il en va de même pour les ressources de calcul. Un code mal conçu

risque de provoquer des latences ou des gels de l’interface. Même de courte

durée, celles-ci seront une gène pour l’utilisateur.

51

ParTie iii. aPPliCaTion de la réaliTé auGmenTée aux

smarTPhones

52

1. Contexte

1 . 1 . po u rq u o i u t i l i s e r d e s s m a r t p h o n e s ?

Depuis leur introduction en 2007, les smartphones bénéficient d’un

large engouement du public. Il s’agit d’un véritable phénomène de société qui

dépasse le seul cadre des technophiles. Quel que soit le système d’exploitation ou

le modèle utilisé, ce sont maintenant plus de 40% des utilisateurs de téléphones

mobiles qui en possèdent un42. Au delà de leur simple utilisation pour la

téléphonie, leur emploi en tant qu’unité informatique mobile se démocratise,

comme en témoigne le nombre croissant d’applications et services développés.

Dans le même temps cette technologie est au cœur de nombreux

débats. Le géopositionnement permet une localisation précise des utilisateurs

et fait redouter certaines dérives. Il en va de même pour les informations

personnelles stockées qui sont potentiellement accessibles par un tiers. La

Commission Nationale de l’Informatique et des Libertés (CNIL) publie

régulièrement des articles mettant en garde les usagers en ce qui concerne le

« risque de vol d’informations personnelles » et la possibilité de « pister un

téléphone »43. Malgré cela, leurs enquêtes montrent qu’environ 60% des usagers

accordent peu d’importance à la protection de leurs données.

Malgré cela le succès des smartphones est indiscutable. Il touche

l’ensemble de la population de façon sensiblement équivalente, quelque soit l’âge,

le sexe ou le milieu social. Au delà des prix et offres attractives, les smartphones

séduisent par leurs fonctionnalités sans cesse améliorées, leur capacité à accéder

aux différents réseaux de communication et leurs performances en tant que

plateforme multimédia. Ils sont ainsi devenus la première plateforme portable


43 « la réalité augmentée en question », http://www.cnil.fr/en-savoir-plus/fiches-pra-tiques/fiche/article/la-realite-augmentee-en-questions/

53

de jeux vidéos. Du côté des réseaux sociaux, du commerce en ligne ou de l’accès

à des contenus multimédias, le trafic en provenance de ces appareils est en passe,

si ce n’est déjà le cas, de surpasser celui provenant d’ordinateurs44.

En ce qui concerne la réalité augmentée les smartphones disposent

de nombreux atouts. Premièrement leur adoption massive par le grand public

permet d’envisager une bonne diffusion des applications créées. Habitués à

jouer, être guidés, écouter de la musique ou regarder des vidéos, les utilisateurs

ne devraient pas être déroutés par l’augmentation et les contraintes qu’elle

impose. D’un point de vue technique, ces appareils concentrent la majorité des

outils utilisés pour générer la réalité augmentée et permettent de les exploiter

aisément. Mieux encore, ils offrent une solution compacte, peu coûteuse et

ultra-portable aux exigences qu’ont nombre de programmeurs.

Entre l’enthousiasme qu’ils suscitent et les qualités technologiques

dont ils font preuve, les smartphones méritent amplement leur place dans le

monde de la réalité augmentée.

1 . 2 . e xe m p l e s d e t rava u x

Le succès des smartphones repose en grande partie sur l’interactivité

qu’ils permettent. Loin du téléspectateur passif devant sa télévision, un

possesseur de smartphone agit en permanence sur le contenu des applications

qu’il adapte à ses désirs. De fait, les œuvres réalisées sur ces plateformes suivent

cette tendance. On pourrait les séparer en deux catégories :

− Elles peuvent être le travail uniquement de l’artiste. Le spectateur

n’a alors qu’une posture passive vis-à-vis de l’oeuvre, il ne peut que l’observer

− Elles peuvent être le fruit d’une coopération entre l’artiste et le

44 comscore, 2012 mobile futur in focus, février 2012

54

spectateur. L’application permet d’interagir avec l’oeuvre, la générer ou en créer

des variations en fonction de la matière fournie par l’artiste.

Ce type de collaboration pousse à s’interroger quant à la nature de

l’oeuvre et la position du spectateur vis-à-vis d’elle. Si de telles questions ne sont

pas propres à cette technologie, en mettant en avant l’interactivité et en accordant

au spectateur une part dans le processus créatif, elles sont incontournables. En

effet, rares sont les applications laissant l’utilisateur passif. On peut sans doute

y voir un lien avec l’emploi des smartphones en tant que plateforme de jeux-

vidéo ; on en sent d’ailleurs l’influence sur la majorité des applications conçues.

L’exposition Augmented Reality Art invasion !45 donne accès a des

œuvres du premier type. Cette exposition « virtuelle », mise en place par Sander

Veenhof et Mark Skwarek en octobre 2010, se déroule dans l’ensemble du

MoMA en parallèle de l’exposition « réelle » qui s’y est tenue : « the show will not

be visible to regular visitors of the MoMA, but those using a smartphone application

called “Layar Augmented Reality browser” […] will be able to see additional works

on each floors, put there using location-based augmented reality techniques. »46 Les

œuvres exposées ne permettent pas au visiteur de participer ; comme devant

une sculpture il va pouvoir se déplacer autour, changer son point de vue mais

restera en permanence passif.

Au contraire, l’application pour iPhone Konstruct permet de générer

des sculptures augmentées en fonction de sons. L’utilisateur peut choisir parmi

un panel de structures et de couleurs, ajuster la façon dont l’application réagit

aux sons et génère les formes. Cette application, clairement énoncée par ses


46 « l’exposition ne sera pas visible par les spectateurs habituels du moma, mais ceux uti-lisant une application pour smartphone appelée “layar augmented reality browser” auront la possibilité de voir des œuvres supplémentaires à chaque étage, placées à l’aide de techniques de réalité augmentée fondée sur la localisation du visiteur . » sanDer v., « press release – octobre 4th 2010 », http://www.sndrv.nl/moma/?page=press

55

concepteurs comme « an investigation into generative art in an Augmented

Reality environment »47, donne à voir des sculptures qui n’ont d’existence que

par l’action de l’utilisateur.

De son côté, l’application RjDj qui présentée par ses créateurs comme

« the soundtrack to tour life »48. Ce projet permet à différents artistes de créer

des « scènes », c’est à dire des univers sonores, réagissant à l’environnement

extérieur et générant une musique: « it connects the music you hear to the world

around you, creating a unique, acoustically rich listening experience. Every time

you’re using RjDj, the music is created in the very moment you are listening to it.

Customised by your surroundings, the music becomes an entirely unique, individual

soundtrack to your life. »49 Certaines scènes considèrent que l’utilisateur se met

à courir quand il fait face à une situation de stress, comme un bus à rattraper.

L’application accélère alors le tempo, fait rentrer certaines pistes instrumentales,

leur fait gagner en intensité, afin d’augmenter la tension au sein de la musique.

D’autres se servent du micro du téléphone pour recueillir les sons ambiants, les

modifier et les transformer en matière musicale. Un artiste peut ainsi augmenter

l’audio et la musique à sa façon puis proposer son travail par le biais de RjDj.

47 « une recherche sur l’art génératif dans un environnement en réalité augmentée » http://apps.augmentic.co.uk/konstruct

48 « la bande son de votre vie » http://rjdj.me

49 « [rjDj] lie la musique que vous entendez au monde qui vous entoure, créant une expé-rience sonore unique et riche. a chaque fois que vous utilisez rjDj, la musique est créée au moment même où vous l’entendez. propre à votre environnement, la musique devient la bande son, unique et personnelle, de votre vie. » http://rjdj.me

56

2. l’audition augmentée

2 . 1 . le s s m a r t p h o n e s, u n e p l ate fo r m e p ro p i ce à

a u gm e nte r l ’a u d i o

Comme nous l’avons vu les smartphones offrent un concentré de

technologies adaptéés à la réalité augmentée. Les utiliser pour une application à

l’image reste cependant limité. Effectivement leur puissance de calcul est encore

trop juste pour gérer parfaitement les ressources vidéo et les modélisations 3D.

Quant à l’écran, il est de taille réduite et ne permet pas une vision stéréoscopique.

Enfin la manipulation de l’interface, c’est à dire la nécessité de tenir l’appareil à

bout de bras devant soi, limite l’immersion et risque de provoquer une fatigue

ou une certaine irritation de l’utilisateur. Au contraire, leur utilisation pour une

augmentation audio ne subit pas ces obstacles.

Les smartphones disposent des ressources nécessaires à l’acquisition

et à la diffusion du son. De plus, ils bénéficient des avancées effectuées dans le

domaine des lecteurs mobiles ; avant leur arrivée de nombreux « feature phones »

étaient utilisables en tant que baladeurs audio. Les smartphones peuvent donc

se baser sur de nombreuses années de recherches et de développement dans le

domaine de l’audio portable.

En ce qui concerne l’audio, l’obstacle de l’interface n’est plus un

problème. Le son peut passer par un casque stéréo, bénéficiant souvent d’un

micro intégré. Aujourd’hui, le geste même de mettre son casque et de se

déplacer avec est devenu pour la plupart des usagers un geste naturel. Il en va de

même pour l’utilisation du smartphone : en permanence présent dans la poche

de son possesseur, la manipulation d’applications fait partie de son quotidien.

Contrairement à l’image, aucun des gestes associés à l’augmentation sonore

n’est perturbant. L’interface ne vient en rien troubler l’expérience et permet une

immersion que l’on pourrait qualifier de plus « directe » en ce sens qu’aucun

57

obstacle ne vient se placer entre l’augmentation et l’utilisateur.

2 . 2 . u n e xe m p l e d e j e u e n a u d i t i o n a u gm e nté e

Oterp est un jeu video musical pour iPhone créé par Antonin Fourneau.

Il se déroule dans tout type d’environnement – urbain, rural... – et fait partir

le joueur à la recherche d’objets sonores dans le but de créer sa propre musique.

En se laissant guider par le son, il va pouvoir aller à leur rencontre puis les

collecter. L’environnement musical est généré de deux façons :

− En se déplaçant le joueur s’approche plus ou moins d’objets musicaux,

son emplacement par rapport à eux gère leur balance et leur spatialisation

− Une fois qu’il les possède, il peut réutiliser les objets et créer sa

propre musique.

Le projet Oterp est né en 2003. La première version exploitait une

Sony PSP qui disposait d’un module GPS. Cependant, l’absence de boussole

empêchait le développement du jeu tel qu’il était imaginé. L’arrivé en 2007

de l’iPhone a fourni à Antonin l’outil qui correspondait à ses besoins : une

plateforme de jeu mobile dont la position et l’orientation sont accessibles.

Ce problème résolu, le principal enjeu technique de Oterp est la gestion

de l’audio et notamment celle des fichiers sonores. Pour toute application

nécessitant le recours à des fichiers de ressource se pose la question du stockage

des données : sont-elles stockées sur le smartphone ou lues en streaming ?

Dans le cas présent, la nécessité du temps réel interdit le recours au streaming,

susceptible d’induire des problèmes de débits et de connexion. Il est donc

nécessaire de stocker l’intégralité de l’audio sur le terminal.

Pour gérer la création sonore, Antonin Fourneau s’est inspiré des

moteurs audio de vieilles consoles dont les faibles ressources nécessitent qu’ils

58

soient optimisés ; par exemple l’Amiga, l’Atari ou la Game Boy. On y trouve

des fichiers audios sous forme de modules – une partition et les échantillons

sonores associés – lus par un tracker – software permettant, au travers de pistes

monophoniques, la lecture de modules. Dans Oterp, le principe est similaire :

chaque objet du jeu dispose d’un fichier module et d’un canal audio. Une telle

architecture permet de multiplier leur nombre sans pour autant engendrer de

problèmes de stockage.

La bibliothèque fmod50, dédiée à la gestion du son dans les jeux vidéos,

permet de mettre en place le tracker nécessaire à la création de l’univers sonore.

Ainsi dans son état actuel, l’application ne pèse que quelques mégaoctets là où

l’emploi des bibliothèques sonores fournies par Apple lui aurait fait dépasser

le gigaoctet. fmod gère ensuite l’application d’effets et surtout la spatialisation

des sons. Les données GPS sont employées pour déterminer la distance du

joueur aux objets ; les accéléromètres, gyroscopes et magnétomètres permettent

de gérer la répartition stéréo. La combinaison des deux types de localisation

permet d’incruster les objets sonores dans l’espace de façon convaincante et en

temps réel.

50 http://www.fmod.org

59

ParTie iV. ConCernanT la ParTie PraTique

60

L’enjeu de la partie pratique de ce mémoire est la création d’une

application de réalité augmentée audio sur smartphone. Afin de rendre l’objectif

réalisable, il s’agit d’en étudier les besoins et contraintes puis de prototyper

certaines de ses fonctions.

1. projet et approche de l’environnement

L’idée à la base de cette application est de pousser le participant

à explorer son environnement, partir à la découverte de lieux et l’inciter à

déambuler. Elle doit permettre aux utilisateurs de signaler des sites pouvant être

l’aboutissement d’une promenade.

Cette application repose, comme toute celles développées pour

smartphone, sur une programmation modulaire. Crée pour permettre de faciliter

le travail en équipe, elle consiste en la conceptions de «modules» – parties de

codes autonomes réalisant une des fonctions du programme – qui mises en

commun constituent l’application dans son entier. Dans le cadre de la partie

pratique de ce mémoire, seul le module permettant de guider le participant

dans sa déambulation sera programmé.

1 . 1 . l a s cé n a r i s at i o n

Contrairement à la réalité virtuelle qui immerge le participant dans un

univers synthétique, la réalité augmentée réalise l’inverse : plonger les éléments

virtuels dans le monde de l’utilisateur.

Il en va de même pour la narration. Livres et cinéma présentent au

spectateur une histoire et un monde dont il est le témoin et où il va chercher

à s’immerger. Afin d’aller plus loin, la collection des Livres dont vous êtes le

héros donne au lecteur la possibilité d’interagir avec l’histoire, amenant ainsi

61

à accroître la sensation de présence51. Par analogie, on pourrait rapprocher ces

livres de la réalité virtuelle. Le lecteur est plongé dans un univers qui suffit à

générer l’expérience mais n’entretient pas de lien avec la réalité physique qui

l’entoure. C’est en ce sens que la réalité augmentée se distingue : elle nécessite

le monde réel pour être générée.

Le rôle de la scénarisation est d’établir les principes régissant

l’incrustation. Elle en définit les règles, les libertés accordées ainsi que la façon

d’exploiter les éléments virtuels, leur incrustation, leurs effets et leur évolution.

Il s’agit d’un scénario interactif qui doit prendre en compte et faire face aux

différentes actions de l’utilisateur et aux aléas de l’environnement réel. La réalité

augmentée permet de penser cette scénarisation en prenant en compte des

éléments purement sensoriels et non narratifs. C’est le cas de RjDj qui propose

de créer une bande son propre et unique à chaque joueur. Les « scènes »52 créées

font alors office de scénario à cette augmentation musicale.

Dans le cas présent, le scénario structurant l’application est simple.

Chaque lieu à découvrir doit fournir des indices y menant. Nous considérons

alors qu’ils émettent chacun un signal différent et que le participant devra se

fier à son audition pour se guider dans sa déambulation. Pour le pousser à être

sans cesse en mouvement, le fait de rester trop longtemps sur place brouillera la

perception des signaux par l’utilisation d’effets comme des échos panoramisés.

Cependant ceux-ci ne seront pas activés si le participant reste longtemps dans

l’un des lieux signalés ; il n’entendra alors que le signal associé à celui-ci.



62

1 . 2 . u n a s p e c t co l l a b o rat i f

Un reproche fait aux technologies informatiques est d’isoler ses

utilisateurs. Dans le même temps, elles permettent de créer des connections et de

favoriser les partages d’informations. Le développement de la réalité augmentée

collaborative a fréquemment une visée pratique comme en médecine ou dans

le domaine militaire. Il s’agit au travers de l’augmentation de faire travailler

différentes personnes présentes en un même lieu sur un objet virtuel ou à

distance sur un objet réel unique. L’utilisation grand public qui en est faite est

celle que l’on trouve dans Wikitude par exemple, où les utilisateurs associent à

un lieu des informations. Encouragée par Google qui en a fait le principe même

de Wikipedia, le fondement de ce type de collaboration est de considérer la

véracité de l’information comme le fruit d’un consensus.

Notre application quant à elle peut tirer parti des réseaux accessibles

aux smartphones pour permettre à l’utilisateur de signaler un lieu en y laissant

son empreinte, à la façon de Trace de Teri Rueb. Si un lieu mérite d’être

l’aboutissement d’une déambulation c’est que la personne l’ayant désigné lui

accorde une certaine valeur. En tant que tel, il est alors intéressant que ce soit

cet utilisateur qui définisse le signal guidant les autres participants. Comme

dans Trace, il peut s’agir d’un texte. Cela peut aussi être une musique, un son...

Il revient à l’utilisateur d’apporter au projet une part de son imaginaire pour

insuffler une tonalité au lieu.

En observant l’effet à plus large échelle, on s’aperçoit que chaque

participant se déplace alors dans un milieu rempli de flux sonores. Le mélange

de ces flux crée l’univers virtuel venant se superposer au monde réel. Cet univers

est de fait le fruit d’une collaboration de chaque utilisateur qui, en proposant un

lieu et un signal, participe à la construction de l’expérience.

Il sera intéressant d’observer le résultat de la collaboration définie ici :

63

les participants prendront-ils en compte, ou non, les signaux déjà présents ?

L’expérience résultante sera-t’elle alors le fruit d’utilisateurs cherchant à créer une

ambiance globale, combinant les tonalités des différents lieux ou au contraire,

déambulerons-nous dans un univers hétéroclite ? La scénarisation joue ici un

rôle : pour toute application laissant une part de création à l’utilisateur il est

nécessaire de fixer un cadre aux libertés accordées. Ce cadre, extrêmement

variable, peu aller de la mise en place de limites strictes – par exemple en

fournissant un panel de signaux qui seront les seuls utilisables – à la liberté

d’action totale du participant – par exemple en lui laissant choisir le contenu,

sans limite concernant le média employé.

1 . 3 . C h o i x s o f t wa re e t h a rd wa re

Le choix d’Android pour programmer cette application s’est fait sur

des critères évoqués précédemment53. Avec l’iOs d’Apple, il s’agit des deux

plateformes les plus répandues. Ce sont donc celles qui ont retenu mon attention.

Dans le cas de l’iOS la nécessité de s’inscrire au programme de développement

d’Apple, les coûts liés à l’exploitation et les contraintes de diffusion, ainsi que la

communauté relativement fermée de développeurs, m’ont dissuadé d’employer

cette plateforme.

Au contraire, Android est fondé sur les principes du logiciel libre. Les

différents environnements de programmation et les bibliothèques sont librement

accessibles et le seul coût engendré est celui du smartphone ou de la tablette.

De son côté la diffusion de l’application réalisée présente peu de contraintes et

elle peut être aisément installée sur tout appareil. Enfin cette plateforme dispose

d’une vaste communauté de programmeurs échangeant conseils et codes.

Lorsqu’il s’agit d’ajouter des éléments sonores virtuels via un


64

smartphone le choix du matériel de diffusion est simple : un casque stéréo.

La question qui se pose alors est de choisir comment le réel sera « diffusé ».

Le problème est similaire à celui des HMD qui proposent deux solutions :

percevoir le monde réel directement – auquel cas le HMD n’effectue pas de

médiation – ou par l’intermédiaire de caméras dont le contenu est diffusé dans

le casque. De même pour l’audio : va-t’on permettre à l’auditeur de percevoir

le son ambiant directement – seul les sons virtuels sont alors diffusés – où après

une médiation – le casque diffuse à la fois l’environnement sonore recueilli par

des micros et les sons virtuels. L’état actuel de la technologie ne permet pas

d’effectuer une telle médiation : les smartphones n’offrent qu’une entrée audio

mono ; seule l’iPhone dispose de périphériques permettant une entrée stéréo.

Si malgré tout, on se contentait de cette entrée mono, il faudrait s’assurer que

le simple fait de recueillir le son puis de le rediffuser n’entraine pas une latence

perceptible et dérangeante, ce qui est très variable d’un appareil à l’autre.

J’ai donc fait le choix de ne pas effectuer de médiation sur les sons

réels. Cela exclut les casques fermés qui isolent trop de l’environnement et plus

encore les casques à réduction de bruits qui, du fait de leur très forte isolation,

peuvent aller jusqu’à poser des questions de sécurité dans le cas d’une utilisation

en milieu urbain. Il convient alors d’utiliser un casque ouvert.

Il est possible de trouver dans le commerce des casques disposant d’un

microphone intégré. Ces casques, à l’allure de casques fermés mais à l’isolation

souvent faible, conviennent parfaitement à ce genre d’utilisation et permettent

de ne pas avoir recours à un bricolage combinant un casque ouvert, un micro

type cravate et un adaptateur. Enfin, ils vont surtout dans le sens de mon

projet – malgré leur qualité souvent médiocre – en ce sens qu’ils permettent un

dispositif simple et aisément accessible par le public.

65

2. Développer un module

2 . 1 . g u i d e r l e j o u e u r

Ce module de l’application a pour but de fournir les indices nécessaires

pour guider le joueur dans la découverte d’un lieu. Pour cela nous mettrons en

place un signal dont la source, fictive, sera située à son emplacement. Le joueur

n’a alors plus qu’à se laisser guider par le son pour trouver le chemin le menant

au site.

Dans un premier temps, le point d’émission doit être repéré. Ceci

s’effectue au travers de ses coordonnées géographiques : la latitude – valeur

angulaire par rapport à l’équateur rendant compte du positionnement nord-sud

– et de la longitude – valeur angulaire par rapport au méridien de Greenwich

rendant compte du positionnement est-ouest. Ce sont les déplacements du

joueur par rapport à ce point fixe qui définissent l’évolution du son.

Pour effectuer l’incrustation nous allons prendre en compte deux

paramètres :

− La distance entre le joueur et la source fictive

− L’azimut entre la source fictive et la normale au joueur

Ceux-ci ont pour but de permettre la gestion de la spatialisation :

− Rendre compte de la distance en agissant sur le niveau perçu et le

filtrage induit par la propagation du son dans l’air

− Situer la provenance de la source sur une sphère autour du joueur

en faisant appel aux fonctions HRTF (Head-Related Function Transfer) qui

exploitent les informations de distance et d’azimut pour créer une différence

d’intensité et de temps, ainsi qu’un filtrage

66

− Rendre compte de l’espace en appliquant à la source une réverbération

contrôlée par l’information de distance.

2 . 2 . l a g e s t i o n d e s e f fe t s s o n o re s

Nous avons vu précédemment54 que dans le cadre d’un environnement

non préparé, la réalité augmentée mobile fait face à certains écueils. En ce qui

concerne l’augmentation sonore, un problème apparaît rapidement : celui de la

nature des sons réels.

En ayant testé Oterp en de nombreux endroits, Antonin Fourneau

s’est aperçu qu’il est possible d’y jouer dans un lieu calme sans aucune gène. En

ce qui concerne le milieu urbain, au delà de vingt minutes les univers sonores

confrontés aux sons réels peuvent devenir fatiguant. A l’extrême, en le testant

en Chine, jouer à Oterp lui a été impossible car les univers sonores virtuels

entraient trop en conflit avec la réalité sonore des villes.

Générer une réalité augmentée audio mobile impose donc de se poser

la question des sons réels pouvant être rencontrés. Cela permet de s’assurer de la

compatibilité des sons virtuels avec eux et de la façon de faire face aux différentes

situations. Il faut prendre en compte le fait que l’environnement réel ne peut

être préparé. Se pose ainsi la question de l’adaptation de l’augmentation, c’est

à dire l’univers virtuel, aux espaces où elle peut avoir lieu. Il ne s’agit pas ici

d’imposer un univers en rapport avec le lieu, mais de réfléchir aux effets d’un

mélange sonore.

Une telle adaptation nécessite la mise en place d’une cartographie

repérant les différents espaces sonores réels et permettant d’y adapter les

paramètres de l’augmentation, ainsi que les effets et sons joués. Cependant ce


67

genre d’approche limite le cadre dans lequel notre application peut être employée,

ce qui est contraire au projet initial visant à découvrir des lieux nouveaux.

Nous pouvons donc observer certains paramètres afin à compenser

autant que possibles les effets potentiellement gênants de l’augmentation :

− Densité spectrale : viser à alléger les zones spectrales déjà chargées

dans l’environnement réel. Il s’agirait d’une égalisation agissant sur l’ensemble

des sons diffusés et paramétrée en fonction de l’analyse spectrale du signal

recueilli par le micro.

− Densité sonore : ne pas surcharger une ambiance sonore déjà

fournie. Différents paramètres comme les temps de réverbération, les taux

de réinjections dans des délais ou la fréquence d’occurrence des incrustations

peuvent être contrôlés par l’analyse des sons captés.

Ces questions sont d’autant plus importantes dans notre cas où aucune

médiation du réel n’est effectuée. Effectivement, seuls les sons virtuels nous sont

accessibles et nous n’avons aucun moyen d’action sur ceux réels. Dans l’idéal,

un système approprié et bien programmé permettrait d’isoler complètement

l’utilisateur des sons réels afin de nous permettre de les contrôler par le biais de

la médiation.

2 . 3 . pro gra m m at i o n à l ’a i d e d e l i b p d

Afin de se lancer dans la programmation, Android dispose d’un site :

developer.android.com. Il est possible d’y trouver le SDK, les API ainsi que

l’ensemble de la documentation nécessaire au développement. Le langage de

programmation est basé sur le Java ; il en reprend la syntaxe et la majorité des

bibliothèques. Android dispose de ses propres bibliothèques afin de pouvoir

exploiter les possibilités des différents hardwares, qu’ils soient des smartphones

ou des tablettes.

68

En ce qui concerne les bibliothèques relatives au son, celles fournies

par Android sont assez difficiles à exploiter pour de la réalité augmentée. On y

trouve celles de bases que sont « MediaPlayer » – permettant, comme son nom

l’indique, de mettre en place des lecteurs audio ou vidéo – et « MediaRecorder »

– permettant d’enregistrer des sons ou vidéos. Une autre bibliothèque nommée

« SoundPool » permet de mettre en place un lecteur audio adapté aux jeux.

Cependant, elle ne dispose pas d’outils pertinents pour l’augmentation.

En revanche une bibliothèque fondée sur PureData existe pour

Android : libpd55. Il ne s’agit pas d’une version dérivée mais d’un outil pour insérer

des patchs dans un autre environnement. Cela permet de créer les différents

traitements audio sur son ordinateur au travers de l’interface graphique de

PureData puis de les inclure dans le dossier ressource de l’application afin qu’elle

puisse les exploiter. En plus de disposer d’outils performants, la programmation

s’en trouve simplifiée.

L’avantage de libpd est de mettre à disposition de l’application

l’ensemble des fonctionnalités de pd vanilla, mais il faut savoir qu’elle ne prend

pas en compte les librairies complémentaires incluses dans pd-extended. Nous

l’avons choisie car en plus d’être simple d’utilisation et bien documentée, la

programmation sous PureData ne nécessite pas la prise en main d’un logiciel

nouveau.

Un exemple d’utilisation de libpd est détaillé dans l’annexe 1.

Cependant la bibliothèque fmod permettrait probablement un résultat

plus efficace pour ce projet. Elle dispose d’outils optimisés de spatialisation et

serait une piste à suivre pour développer plus avant l’application.

55 http://libpd.cc

69

ConClusion

Dans ce mémoire nous nous sommes intéréssé à l’emploi du smartphone

comme générateur de réalité augmentée sonore. Nous avons cherché à présenter

différents types d’augmentations et mettre en évidence les enjeux et concepts

sous-jacents à ce que nous pouvons appeler l’audition augmentée.

Concernant la réalité augmentée, nous avons cherché à présenter les

notions d’immersions et d’interactivités permettant de créer la sensation de

présence. Cette dernière est l’objectif de tout projet : une fusion homogène du

virtuel et du réel dans laquelle le procédé technologique s’efface au profit de

l’expérience sensorielle. J’ai ainsi cherché à souligner l’importance de l’interface

qui est garante de cette fusion.

Ces qualités se retrouvent dans les smartphones quand ceux-ci sont

employés à des fins d’augmentation sonore. L’étude de cette technologie en plein

développement a permis de mettre en avant plusieurs points la rendant attractive :

portabilité, réseau de communication, performances et fonctionnalités. Cela a

permis de mettre en avant leur capacité à générer une réalité augmentée mobile

et collaborative aisément accessible au grand public.

Sur cette base, nous avons proposé un ensemble de réflexions et de

pistes afin d’aborder l’audition augmentée. Au travers d’exemples, différentes

sortes d’augmentations ont été présentées. Principalement les incrustations,

la modification de sons réels et la génération de musique en fonction de

70

l’environnement. La présentation de la partie pratique, consistant en la

réalisation d’une application d’audition augmentée, a permis de mettre en avant

les contraintes de l’interface et de la gestion des sons réels et virtuels.

La réalisation de la partie pratique permettra d’illustrer ces différentes

réflexions en réalisant l’incrustation d’une source sonore virtuelle fixe par

rapport à laquelle il sera possible de se déplacer.

En conclusion, l’audition augmentée, comme tout type de réalité

augmentée, permet d’envisager un rapport au réel novateur. Son emploi dans

le domaine de l’art permet d’envisager des expériences accordant une place à

l’ensemble des sens. De ce travail de mémoire, deux pistes me paraissent mériter

une certaine attention. La première est celle de la réalité augmentée collaborative.

En plein essor, elle est au centre de la majorité des projet de réalité augmentée

sur smartphone. La seconde, piste est celle de la réalité mixte. Incluant la réalité

augmentée, elle permet un métissage plus complexe des environnement réels et

virtuel et adapté au technologies actuelles.

71

annexes

72

annexe 1 – utiliser libpd, un exemple simple .p.74

annexe 2 – Quelques applications .. . . . . . . . . . . . . . . . . . .p.77

annexe 3 – Débuter android quand on n’y connait rien .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .p.83

annexe 4 – lexique .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .p.85

annexe 5 – table des figures .. . . . . . . . . . . . . . . . . . . . . . . . . . . .p.86

annexe 6 – bibliographie .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .p.87

73

annexe 1 – utiliser libpd, un exemple simple

Afi n de créer le module permettant de guider l’utilisateur j’ai du passer par

l’apprentissage du langage propre à Android. Cette annexe présente un code que j’ai

écrit afi n d’utiliser un patch PureData à l’aide de libpd.

Le principe du patch est simple : générer un son que nous entendrons via le

casque du smartphone. Il s’agit la de travailler au module fi nal qui devra permettre la

lecture ou la génération de sons.

Ce patch permet d’une part de générer une fréquence, en lui

fournissant une valeur midi, et de l’autre d’appliquer une enveloppe à la sortie

de l’oscillateur. D’une simple pression sur l’écran du smartphone, l’utilisateur

déclenche le son.

Le code suivant permet d’intégréer le patch ci-dessus et de le mettre

en lien avec la plateforme.

74

75

Afin de l’expliciter, voici son fonctionnement :

− La fonction « onCreate() » est la partie de code exécutée à l’ouverture

du programme, « onPause() » s’effectue quand l’utilisateur change d’application

sans fermer la première, « onResume() » quand il revient dessus et « onDestroy() »

quand il la ferme

− « aButton » et « bButton » sont les deux bouttons accessible par

l’écran du smartphone

− « iniGui() » met en place l’affichage tel que le voit l’utilisateur.

− « initPd() » permet au programme de mettre en place les

fonctionnalités de PureData.

− « loadPatch() » permet d’ouvrir le patch « pd_android » présenté

plus haut et qui se trouve dans les resources du programme

− « onClick(View v) » permet de savoir quand un boutton est actionné.

La partie de code incluse dans cette méthode transmet au patch la note à jouer.

76

annexe 2 – Quelques applications

De nombreuses applications en réalité augmentée existent. Une simple

recherche contenant les termes « réalité augmentée » ou « augmented reality »

en dénombre plus de 300 sur Google plaie et au moins autant sur l’AppStore.

Est présenté ici un petit nombre d’entre elles, soit pour leur intérêt artistique,

pour les possibilités qu’elles offrent quand il s’agit de développer soit même de

la réalité augmentée ou simplement car elles sont amusantes.

• Wikitude - www.wikitude.com

Lancé en 2008, Wikitude est le premier navigateur en réalité

augmentée conçu pour smartphone. Il permet d’afficher des informations

sur l’environnement de l’utilisateur. Pour cela Wikitude exploite les données

de géolocalisation de l’utilisateur et de son environnement, principalement

les données issues du GPS, du WiFi et du compas. Les données sont ensuite

incrustées dans l’image obtenue par la caméra de l’appareil afin de permettre leur

visualisation à l’écran. Celles-ci sont extrêmement variées, aussi bien des articles

en provenance de Wikipedia que des informations laissées par les utilisateurs.

77

• Konstruct - apps.augmentic.co.uk/konstruct

Cette application permet de créer à partir de sons des sculptures en

réalité augmentée.

Elle est expliquée plus en détail au chapitre 4.1.2.

• RjDj - rijdj.me

Fonctionnant sur un principes de scènes, univers sonores créés par

certains utilisateurs, RjDj permet de générer de la musique en fonction de son

environnement

Pour plus d’informations, voir le chapitre 4.1.2.

78

• Layar - www.layar.com

Layar est un navigateur de réalité augmentée. Il permet gratuitement

à toute personne intéressée de créer des « layers », c’est à dire des univers en

réalité augmentée accessibles au travers du browser. Ces « layers » peuvent tout

aussi bien être des informations, comme le fait wikitude, que des jeux en réalité

augmentée, ou tout autre création imaginable et réalisable grâce aux APIs de

Layar.

Il s’agit du navigateur qui a été utilisé lors de l’exposition Augmented

Reality Art invasion décrite au chapitre 4.1.2.

79

• Junaio - www.junaio.com

Cet autre navigateur fournit des APIs gratuites afin de développer des

applications de réalité augmentée. Junaio se distingue de Layar par une meilleure

précision en ce qui concerne le géopositionnement là ou Layar dispose d’outils

plus puissants en terme de création d’objets 3D.

80

• The Night of the Living Dead Pixel - www.volumique.com

Les éditions volumiques travaillent sur de nombreux projets

d’augmentation du livre. Ils ont créé The Night of The Living Dead Pixel

comme un livre dont l’histoire qui y est racontée se prolonge sur son smartphone

en fonction de codes QR disséminés dans les images.On peut aussi citer (i)

Pirates qui est un jeu de plateau utilisant le téléphone portable comme un pion

interactif où l’on peut visualiser son bateau et les péripéties qui lui arrivent.

81

• AR.Drone - ardrone.parrot.com

La société Parrot, spécialisée dans les outils de navigation, a créé

une ligne de drones disposant de jeux en réalité augmentée sous iPhone. Les

différents jeux de la série permettent de piloter son drone par le biais de son

smartphone et de superposer des ennemis à abattre ou des obstacles sur les

images en provenance de la caméra du drone.

82

annexe 3 – Débuter android quand on n’y connait rien

La programmation sur Android est très séduisante, même pour

quelqu’un ne s’y connaissant pas. Les possibilités de cette plateforme ne sont pas

les mêmes que celles d’un ordinateur ; on a à portée de main quantité d’outils

propre à stimuler l’imagination et auxquels il n’est pas toujours facile d’avoir

accès. Sous plusieurs aspects Android est une plateforme bien plus amusante et

attrayante qu’un ordinateur de bureau. Cependant, comme chacune, elle exige

de savoir programmer. Pour les néophytes, cette annexe a pour but de souligner

quelques points qu’il peut être intéressant de connaître et qui répondent à

certaines questions que je me suis posées.

Pour commencer Android dispose d’un site : developer.android.com

. L’ensemble de ce qui est utile à la programmation y est présent. Le SDK et

les API y sont téléchargeables gratuitement et, hormis l’anglais et la quantité

impressionnante d’acronymes souvent inconnus, la démarche à effectuer est très

bien expliquée.

Android recommande l’utilisation d’Eclipse comme environnement de

programmation. De nombreux outils ont été spécialement conçus par Android

pour celui-ci, en tant que débutant, ils s’avèrent aussi utiles que performants.

Concernant la programmation même, Android est fondé sur le Java,

langage de programmation orientée objet. La syntaxe ainsi que la majorité des

bibliothèques sont identiques. En simplifiant grossièrement, programmer sous

Android revient à programmer sous Java. Ainsi il n’est pas inutile d’en apprendre

les bases ; de fait, bon nombre de livres et de tutoriels considèrent que l’on en

possède une expérience préalable. Cette absence de bases est surement le point

qui m’a fait perdre le plus de temps...

83

En ce qui concerne les tutoriels, deux sites sont particulièrement utiles :

www.siteduzero.com : ce site en français est dédié aux tutoriels

informatiques. Celui concernant Android est facile à lire et très décontracté,

on a parfois l’impression d’apprendre à programmer avec un ami. Il possède

cependant un défaut, celui d’être assez lent et parfois trop vulgarisé.

Mobile.tutsplus.com : en anglais, le site est dédié à la programmation

pour plateformes mobiles. Ses nombreux tutoriels possèdent l’avantage d’être

concis et précis.

Quoiqu’il arrive, il n’est pas inutile d’avoir à portée de main un livre

ou un site sur le java afin de répondre aux questions que l’on peut se poser.

Le site developer.android.com est quant à lui une mine de ressources

pour l’ensemble des objets présents sous Android. Il est extrêmement complet

et bien détaillé. Malgré son aspect abrupte au premier abords, il devient

rapidement indispensable.

Pour ceux qui le désirent, libpd – bibliothèque permettant d’insérer

des patchs PureData dans ses programmes – est disponible à l’adresse suivante :

https://github.com/libpd . Cela nécessite de s’y inscrire, gratuitement, puis de

chercher la section « help » pour paramétrer son compte et apprendre à utiliser

GitHub.

Voilà donc quelques points qui me paraissent importants et qui

découlent de mon propre apprentissage autodidacte d’Android. J’espère qu’ils

pourront être utile à quelqu’un !

84

annexe 4 – lexique

API : Application Programming Interface, interface fournie par un

programme informatique permettant l’interaction des programmes les uns avec

les autres.

CPU : Central Processing Unit, en français : processeur.

Feature Phone : téléphone mobile disposant de fonctionnalités

supplémentaires, typiquement un appareil photo ou un lecteur de musique.

GPS : Global Positionning System.

HMD : Head Mounted Device. Il s’agit des casque de réalité virtuelle

ou augmentée. Ils ont pour principales caractéristiques d’être munis de capteurs

de mouvement et de permettre une diffusion stéréoscopique de l’image afin de

permettre la 3D.

OS : Operating System, en français : système d’exploitation.

RAM : Random Access Memory.

SDK : Software Development Kit, ensemble d’outils permettant aux

développeurs de créer des applications pour des systèmes d’exploitations,

plateformes informatiques, programmes...

85

annexe 5 – table des figures

Fig.1 Continuum Réel-Virtuel simplifié p.13

Fig.2 Spectateur muni d’un HMD prenant part à Osmose p.18

Fig.3 Osmose, univers souterrain p.19

Fig.4 Augmented Reality Art Invasion ! , MoMA, octobre 2010 p.22

Fig.5 Part des smartphones dans téléphonie mobile, comS-core, Dec. 2011 p.34

Fig.6 Possesseurs de smartphones (en millions), comScore, Dec.2011 p.34

Fig.7 Vente mondiale de smartphones par systèmes d’exploi-tation, Gartner inc. p.35

Fig.8 Répartition française des différents systèmes d’exploita-tion, comScore, Dec.2011 p.36

Fig.9 Réseaux mobiles, débits théoriques (a : débit descen-dant ; b : débit montant) d’après Perez A. Architecture des réseaux de mobiles, p. 12 p.41

86

annexe 6 – bibliographie

livres

BENFORD S., GIANNACHI G., Performing Mixed Reality, The MIT Press, Massachusetts Institute of Technology, 2011

BIOCCA F., LEVY M.R., Communication in the Age of Virtual Reality, Hill-sdale, 1995

GIBSON W., Neuromancer, Editions Ace, juillet 1984

FORD R., Apps & contenus mobiles : études de cas:les coulisses et les statistiques de quelques-uns des projets mobiles les plus réussis, Taschen, Cologne (Allemagne), 2011

GARIN F., Android : concevoir et développer des applications mobiles et tactiles, Dunod, Paris, 2009, réed. 2011

GIBSON J., The Ecological Approach to Visual Perception, Houghton Mif-flin, Boston, 1979

GRAU O., Virtual Art From Illusion to Immersion, MIT Press, 2003, Trad. Custance G.

GUIGNARD D., CHABLE J., ROBLES E., Programmation Android, Ey-rolles, Paris, 2010

MIGEON A. (Dir.), Applications industrielles des capteurs 1, Lavoisier, Paris, 2009

MURPHY M., L’Art du développement sous Android, Pearson, Paris, 2009

PEREZ A., Architecture des réseaux mobiles, Lavoisier, Paris, 2011

RHEINGOLD H., Virtual Reality,Touchstone Edition, Etats-Unis d’Amé-rique, 1992

RYAN M.-L., Narrative as Virtual Reality, Immersion and Interactivity in Literature and Electronic Media, The Johns Hopkins Uni-versity Press, Baltimore, 2001

VINGE V., Rainbow’s End, Tor Books, mai 2008

87

WILSON S., Information Arts, The MIT Press, Massachusetts Institute of Technology, 2001, Réed. 2003

WACK M. (Dir.), NAIT-SIDI-Moh A. (Dir.), GABER J. (Dir.), GILLIERON P.-Y. (Dir.), ALEXANDRE Y. (Dir.), Géopositionnement et mobilité (GPS, Egnos et Galileo...), Université de tech-nologie de Belfort-Montbeliard, 2009

publications, articles, études, conférences

AZUMA R., « A Survey of Augmented Reality », Presence : Teleoperators and Virtual Environments 6, Aout 1997, p. 363-364

BALASUBRAMANIAN A., BALASUBRAMANIAN N., VENKATARAMANI A., Energy Consumption in Mobile Phones : A Measure-ment Study and Implications for Network Applications, University of Massachusetts Amherst, 2010

comScore, 2012 Mobile Futur In Focus, Février 2012

MA J.Y., CHOI J. S., « The Virtuality and Reality of Augmented Reality », Journal of Multimedia, vol. 2, n°1, février 2007, pp. 32-37

SUTHERLAND I. E., « The Ultimate Display », Proceedings of IFIP’65, pp. 506–508, 1965

MILGRAM P., TAKEMURA H., UTSUMI A., KISHINO F., Augmented Reali-ty : « A class of displays on the reality-virtuality conti-nuum », Proceedings of Telemanipulator and Telepre-sence Technologies, pp. 2351-34, 1994

Möhring, M., Lessig, C. and Bimber, O., « Video See‐Through AR on-Consumer Cell‐Phones », ISMAR ‘04 Proceedings of the 3rd IEEE/ACM International Symposium on Mixed and Augmented Reality. USA: IEEE Compute, 2004

SEFFAH A., BENN J., MAMAR H. H., « A Low-Cost Test Environmen for Usability Studies of Head-Mounted Virtual Reality Sys-tems », Journal of Usability Studies, Vol. 3, Issue 2, février 2008, pp. 60-73

STEUER J., « Defining Virtual Reality : Dimensions Determining Telepre-

88

sence », Journal of Communication 42, 1992, pp. 73-93

WEISER M., « The Computer for the twenty-first Century », Scientific Ame-rican, Septembre 1991, p94-104

WAGNER I., « On the rôle of Presence in Mixed Reality », Presence, vol.18, n°4, 2009, pp. 249-276

ZENBJEBIL I. M., ABABSA F., DIDIER J.-Y., VAIRION J., FRAUCIEL L., HACHET M., GUITTON P., DELMONT R., « Réalité Augmentée en Extérieur : Enjeux et Etat de l’Art », 10th ACM/IEEE Virtual Reality International Conference, La-val, 2008

sites internet

BENAYOUN M., « World Skin Documentation », http://www.benayoun.com

CARROLL A., HEISER G., «An Analysis of Power Consumption in a Smartphone », http://static.usenix.org/event/usenix10/tech/full_papers/Carroll.pdfhttp://static.usenix.org/event/usenix10/tech/full_papers/Carroll.pdf

DAVIS C., « Changing Space : VR as an Arena of Being », http://www.immersence.com/immersence_home.htmhttp://www.immersence.com/immersence_home.htm

KAGHAT F.-.Z., LE PRADOC., DAMALA A., CUBAUD P., « Experimen-ting with Sound Immersion in an Arts and Crafts Mu-seum », http://cedric.cnam.fr/index.php/publis/articla/view?id=1811http://cedric.cnam.fr/index.php/publis/arti-cla/view?id=1811

LOMBARD M., DITTON T., « At the Heart of It All : the Concept of Pre-sence », Journal of Compter Mediated Communication, vol. 3, num. 2, http://jcmc.indiana.edu/vol3/issue2/lom-bard.htmlhttp://jcmc.indiana.edu/vol3/issue2/lombard.html

MOTT I., SOSNIN J., « Sound Mapping an assertion of place », Interface, 1997, http://reverberant.com/sm/paper.htmhttp://reverbe-rant.com/sm/paper.htm

89

OBARZANEK G., « The Seymour Center presents Chunky Move - Glow » http://reviews.media-culture.org.au/modules.php?name=News&file=article&sid=4103http://reviews.media-culture.org.au/modules.php?name=News&file=article&sid=4103

SANDER V., « Press Release – Octobre 4th 2010 », http://www.sndrv.nl/moma/?page=presshttp://www.sndrv.nl/moma/?page=press

« ARQuake : Interactive Outdoor Augmented Reality Collaboration System », http://wearables.unisa.edu.au/projects/arquake/http://wearables.unisa.edu.au/projects/arquake/

« Topophonie », http://www.futur-en-seine.fr/evenement/topophonie/http://www.futur-en-seine.fr/evenement/topo-phonie/

http://research.microsoft.com/en-us/um/people/bibuxton/buxtoncollection/detail.aspx?id=40

http://www.openhandsetalliance.com/

http://www.apache.org/licenses/LICENSE-2.0.html

http://developer.android.com/guide/publishing/pu-blishing_overview.html

http://www.cnil.fr/en-savoir-plus/fiches-pratiques/fiche/article/la-realite-augmentee-en-questions/

http://apps.augmatic.co.uk/konstruct

http://rjdj.me

Http://Libpd.cc

films

BIGELOW K., Strange Days, Lighstorm Entertainment, octobre 1995

LISBERG S., Tron, Walt Disney Production, juillet 1982

90

OSHII M., Avalon, A-Film Distribution, octobre 2001

SPIELBERG S., Minority Report, DreamWorks Pictures, 20th Century Fox, juin 2002

WACHOWSKI A., WACHOWSKI L., The Matrix, Warner Bros Pictures, mars 1999

Documents

Développer l’auDition augmentée · virtualité augmentée 16 2. Histoire de la réalité augmentée 17 2.1. la réalité virtuelle, origine de la réalité augmentée 17 2.2