1

Réalité Virtuelle et

Interaction Homme/Machine

Part. I

Samir OTMANE (PR UEVE),

Frédéric DAVESNE (IGR UEVE)

samir.otmane@ibisc.univ-evry.fr, frederic.davesne@ibisc.univ-evry.fr

De la Boucle Perception/Actiondans un monde réel puis virtuel

2

Matériel de cours et de TPs

• Cours:– Cours n disponible sur le site au cours n+1;– Articles de recherche et vidéos disponibles sur le site en lien avec le

cours.

• TPs (sous la forme d’un projet sous Unity 3d):– Sujet, matériel (Unity 3d, objets 3ds, etc.) disponibles sur le site le

jour du TP.

• Examen:– Le corrigé de l’examen disponible sur le site 3 semaines après

l’examen.

Voir http://lsc.univ-evry.fr/~davesne/ens/

3

Séances prévues (cours et TPs)

• Cours 1: Lundi 20 octobre 2014, 13h30-16h45

• Cours 2: Lundi 3 novembre 2014, 13h30-16h45

• Cours 3: Mercredi 5 novembre 2014, 13h30-16h45

• Cours 4: Lundi 10 novembre 2014, 13h30-16h45

• TP 1: Lundi 17 novembre 2014, 13h00-17h00

• TP 2: Mardi 3 décembre 2014, 13h30-17h30

• TP 3: Mardi 10 décembre 2014, 13h30-17h30

4

Bibliographie pour commencerTraité de la réalité virtuelleF. Fuchs, Guillaume Moreau, 2006-2009

5 volumes:

- L’homme et l’environnement virtuel (Vol. 1)- L’interfaçage, l’immersion et l’interaction en réalité virtuelle (Vol. 2) - Outils et modèles informatiques des environnements virtuels (Vol. 3)- Les applications de la réalité virtuelle (Vol. 4)- Les humains virtuels (Vol. 5)

Les volumes sont récupérables gratuitementau format électronique pour les étudiants:http://caor.mines-paristech.fr/caor/interlivre/telechargement

5

Bibliographie pour commencer3D User Interfaces,Theory and PracticeD. Bowman, E. Kruijff, J. Laviola,I. PoupyrevAddison-Wesley, Boston, 2005

Interaction 3D en réalité virtuelle.Etat de l'art.N. Ouramdane, S. Otmane, Malik Mallem

Technique et Science Informatiques,2009: 1017~1049Fichier PDF récupérable ici

6

Introduction: la Réalité Virtuelle en France

Association française de Réalité Virtuelle (AFRV) née en novembre 2005

• Regroupe les acteurs de la RV en France (Laboratoires, Entreprises, Associations) ;

• Site WEB: http://www.af-rv.fr/ ;

• Environ 80 plateformes de RV en France, dont EVR@ UEVE/Genopole ;(voir sur Google Maps)

• Investissements importants (environ 0,6M€ pour EVR@, plusieurs M€ pour d’autres).

[Vidéo]

7

Introduction: la Réalité Virtuelle en quelques mots et images

• Immersion dans un environnement généré par ordinateur.

• Interaction en temps réel.

6 sens:• Vue ;• Ouïe ;• Toucher ;• Odorat ;• Goût ;• Proprioception/kinesthésie.

Nécessite:•Capteurs•Effecteurs•Liant entre réel et virtuel = techniques d’interaction 3D

ENSMP/Peugeot

8

Introduction: la Réalité Virtuelle en quelques applications

Aide à l’apprentissage de gestes (conduite, chirurgie, préparation à un théâtre d’opération militaire, productionautomobile, etc.)

Visualisation scientifique (structure 3D de l’ADN, etc.)

Mise en situation dans des troubles de la santé

Visites virtuelles (musées, lieux historiques)

Télé-travail collaboratif

Modélisation d’urbanisme

[Vidéo]

Musée virtuel, http://www.musee-mauricedenis.fr

Acte chirurgical scoliose/Polytechnique Montréal

Simulateur de conduite Renault

9

Aperçu de la plateforme EVR@

UEVE/Genopole, Evry

10

Problématique traitée dans ce cours

Comment créer efficacement de l’interactivité dans un monde virtuel ?

1. Bien différencier les concepts de monde virtuel et d’interaction avec le monde virtuel;

L’humain est au cœur du problème d’interaction.

1. Connaître les différents concepts d’interaction;

2. Justifier l’utilisation de périphériques de réalité virtuelle au travers de la mise en œuvre de concepts d’interaction et de l’acceptation par l’homme des périphériques;

3. Avoir les éléments pour coder efficacement l’interactivité.

11

Problématique traitée dans ce cours

Problème de l’ingénieur

• Connaissant une tâche à traiter et des contraintes

• Liées à la tâche;

• Liées à l’environnement (coût, espace de travail, mobilité).

• Comment sélectionner

• Les périphériques de RV adéquats;

• Les concepts d’interaction adéquats.

• Afin d’optimiser l’interactivité du système construit ?

12

Plan du Cours

• I. De la Boucle Perception/Action dans un monde réel puis virtuel

• II. Techniques d’interaction mono-utilisateur en Réalité Virtuelle

• III. Techniques d’interaction multi-utilisateurs en Réalité Virtuelle

13

Plan du Cours

• I. De la Boucle Perception/Action dans un monde réel puis virtuel

1. Boucle perception/action chez l’homme, premier exemple

2. Caractérisation des éléments clés de la boucle perception/action en rapport avec la Réalité Virtuelle

14

Plan du Cours

• I. De la Boucle Perception/Action dans un monde réel puis virtuel

1. Boucle perception/action chez l’homme, premier exemple

2. Caractérisation des éléments clés de la boucle perception/action en rapport avec la Réalité Virtuelle et Augmentée

15

Fondement de la notion d’interaction:Boucle perception/action

chez l’homme

Personne Environnementaction

perception

interaction

intention

I.1

16

Dans la vie de tous les jours

• L’homme utilise de nombreuses actions réflexes dans sa vie de tous les jours– Utilisation des sens pour contrôler le bon

fonctionnement des actions ;

– Utilisation des actions pour mobiliser les sens.

C’est la signification du terme

boucle perception/action!

Voir [Berthoz, 1997]I.1

17

Exemple 1: la saisie d’objets

I.1[Vidéo]

Remarques initiales:La construction de l’espaceproche est compliquée en RV

Conséquence:La préhension en RV n’estpas facile a priori

18

Exemple 1: la saisie d’objets

• C’est un réflexe sensorimoteur complexe appris

• Nécessite une coordination entre:– Les muscles du bras (organe moteur)

– Les yeux pour le contrôle en phase d’approche et de saisie

– Des retours sensoriels de la main en phase de saisie

• Caractérisée par une vitesse d’approche rapide (loin de l’objet), puis plus lente (à l’approche de l’objet)

I.1

19

Exemple 1: la saisie d’objets…en réalité virtuelle

I.1

[Vidéo]

Nécessite:•Capteurs•Effecteurs•Liant entre réel et virtuel = techniques d’interaction 3D

Lunettes stéréoscopiquesMarqueur de tête

Marqueurs pour la mainExosqueletteGants de données

20

Exemple 2: la marche

• C’est un réflexe sensorimoteur complexe appris

• Nécessite une coordination:– des muscles des jambes, des bras, de la colonne

et du cou (organes moteurs)

– Des yeux, de l’oreille interne, des sensations tactiles des pieds et des muscles (organes sensoriels)

I.1

21

Exemple 2: la marche…en réalité virtuelle

[Vidéo]

Nécessite:•Capteurs•Effecteurs•Liant entre réel et virtuel = techniques d’interaction 3D

CasqueHMD

stéréoscopique

SphèreLiaisonRotule

Gyroscope

I.1 3DVIA Virtools

22

Dans les deux cas, coté réel

• Dans le monde réel

– Apprentissage très tôt dans l’enfance

– Mécanisme robuste et fiable (si pas de problèmes de santé …)

– Aucun besoin de concentration après apprentissage

I.1

23

Dans les deux cas, coté virtuel

• Dans le monde virtuel, coté système– Besoin d’instrumentation

• Périphériques adaptés à la restitution sensorielle et motrice.

– Besoin d’une couche logicielle spécifique• Construction d’une relation entre les mouvements de l’homme et la réaction du système dans le monde virtuel.

• Dans le monde réel, coté homme– Besoin d’une adaptation à l’interaction avec le monde virtuel ;– Besoin de concentration? Besoin d’apprentissage? ;– Etudes cognitives à mener pour appréhender l’adéquation

humain/système.

I.1

24

Et la relation entre l’homme et la machine?

Complexité de l’action réflexeNombre d’indices sensoriels utilisés/Organes moteurs

1960

clavier

souris

1963

Environnementgraphique+souris

clavier

1977

joystick

1983

Environnementgraphique+souris

Joystick àretour d’effort

1995

Motion capture+Retour d’effort, Wii

2005

Kinect,Move

20101968I.1

Stade industriel

1989

Tablette tactileGRiPAD

Leap Motion

25

Donc …

• Des interactions de plus en plus naturelles entre l’homme et la machine sont possibles.

I.1 Combat de boxe avec la Kinect (photo www.kopine.com)

26

Cependant, attention !!!

• Beaucoup de périphériques ne sont pas sur le schéma car prototypes ou trop onéreux donc confidentiels.

• Ex: SPIDAR, Tracking optique ART, VICON, Systèmes de visualisation immersifs.

I.1

27

Pourquoi utiliser une interaction « naturelle » avec l’environnement ?

• Plusieurs méthodes d’interaction avec l’environnement réel (physique)

• Interagir avec des objets est une action courante réalisée par l’Homme dans son environnement réel (physique)

• L’Homme peut réaliser des manipulations très complexes (la zone motrice du cerveau humain est très bien développée pour la manipulation)

• On espère une meilleure acceptation de la machine par l’homme

Samir Otmane UEVE/LSC

This model shows what a man's body would look like if each part grew in proportion to the area of the cortex of the brain concerned with its sensory perception.

The Natural History Museum, London

I.1

28

Mais, attention!!!

• La possibilité d’utiliser des gestes libres et non contraints est souvent synonyme de mauvaise précision ou d’erreurs de l’interprétation du geste par la machine.

I.1

29I.1

Un premier exemple completd’interaction homme/machineafin de poser le problème …

Interaction entre un homme et un robot distantvia une liaison internet

30

Premier exemple: projet ARITI[Otmane et al., 2000],

http://ariti.ibisc.univ-evry.fr/

I.1

Site esclave

Robot FANUC LRMate 200i, 6ddl

Plateforme EVR@, IBISC

Un PC portable standard

Site maître

Internet

31I.1

Projet ARITI[Otmane et al., 2000], http://ariti.ibisc.univ-evry.fr/

[Vidéo du projet ARITI]

32

Projet ARITI[Otmane et al, 2000],

http://ariti.ibisc.univ-evry.fr/• Intention (tâche):Téléopération de robots distants via Internet pour réaliser

des tâches de saisie/dépose d’objets avec contraintes de précision et sécurité sur la tâche

• Environnement (site maître):– un simple PC connecté à Internet– une plateforme de Réalité Virtuelle– transformation logicielle de l’action de la personne en commandes du robot

• Action:– Clavier,souris– Gestes de la main

• Perception (du site esclave):– Vision monoscopique ou stéréoscopique du site esclave (robot)– Retour d’effort– Incrustations vidéos

I.1

33

Site esclave robotisé

- Robot FANUC LRMate 200i, 6ddl- Pièces géométriques colorées à déplacer d’un socle à l’autre- Deux Webcams (permet la vision stéréoscopique) surploimbant le robot- PC serveur d’images relié aux Webcams, délivrant un flux stéréoscopique- PC serveur de commandes pilotant le robot axe par axeI.1

34

Plateforme de RV/RA EVR@http://evra.ibisc.univ-evry.fr

Système semi-immersifStéréoscopie activeTracking de gestes - caméras IR ARTTrack1 - système SPIDARSystème à retour d’effort SPIDAR

3 PCs serveurs - Tracking ART, SPIDAR, Graphique

I.1

Caractéristiques de EVR@:Gestes naturels

et peu contraints

35

Environnement logicielde EVR@: 3DVIA Virtools

I.1

Gère l’interactivité- Communication avec les 3 serveurs de EVR@- Relation entre les actions de la Personne et leur conséquence

36I.1

Relation entre geste de la personneet mouvement du robot

[Vidéo de la manip avec un robot 4ddl]Geste naturel de la personne et garantie de précision et de sécurité sur le site esclave, grâce aux assistances visuelles et à la commande du robot dues à la méthode d’interaction

37

En quoi a résidé la conception « utile » d’ARITI?

• 1. Spécifier les actions élémentaires de la personne pour réaliser la mission.

• 2. Définir les canaux perceptifs utiles.• 3. Formaliser et coder sous Virtools la méthode

d’interaction, i.e. la relation entre le geste (ou l’ordre symbolique) de la personne et sa conséquence dans le monde virtuel.

• 4. Valider expérimentalement l’utilisabilité du système obtenu et corriger les points 1,2 ou 3 si besoin.

I.1

38

Un test de la validation expérimentale d’ARITI

[Ouramdane, 2008]

I.1

[Vidéo]

39

Que nous apprend ce premier exemple sur l’interaction homme/machine?

• Diversité des actions et modes perceptifs pour réaliser un même objectif

• Choix de la méthode (technique) d’interaction très important

• La mise en œuvre technique est rapidement complexe si des outils adéquats ne sont pas utilisés

• Beaucoup de questions relevant des sciences cognitives

I.1

40

Plan du Cours

• I. De la Boucle Perception/Action dans un monde réel puis virtuel

1. Boucle perception/action chez l’homme, premiers exemples

2. Caractérisation des éléments clés de la boucle perception/action en rapport avec la Réalité Virtuelle

41

Fondement de la notion d’interaction:Boucle perception/action

chez l’homme

Personne Machineaction

perception

interaction

intention

I.2

L’homme perçoit la réalité à travers l’action coordonnéede ses organes sensori-moteurs.

42

Lorsque cette boucle perception-action s’intègre dans un monde virtuel:Naissance d’une « autre » réalité

• Une « autre » réalité naît de l’action coordonnée des périphériques d’entrée (Transfert de l’action des organes moteurs de l’homme vers la machine) et des périphériques de sortie (Transfert de l’activité de la machine vers les organes sensoriels de l’homme)

I.2

43

Une définition de la Réalité Virtuelle[Fuch et al., 2006]

La finalité de la réalité virtuelle est de permettre à une personne (ou plusieurs) une activité sensori-motrice et cognitive dans un monde artificiel, créé numériquement, qui peut être imaginaire, symbolique ou une simulation de certains aspects du monde réel.

I.2

44

Une autre définition de la Réalité Virtuelle

[Tisseau, 2001]

• La RV est un univers de modèles au sein duquel tout se passe comme si les modèles étaient réels parce qu’ils proposent simultanément la triple médiation des sens, de l’action et de l’esprit.

I.2

45

Conséquence: lien entre RV et interaction

Ces définitions de la RV intègrent très fortement le fait que l’homme puisse interagir avec le monde virtuel.

Cela est très différent, par exemple, de la notion de simulation mathématique.

I.2

46

Exemple en biologie moléculaire:interaction Homme/Chromosome

[Essabbah et al., 2009]

La configuration spatiale des molécules est soumiseà des contraintes.

La simulation permet de visualiser quelques résultatsà partir des équationsMAIS l’homme est hors-jeu dans ce processus.I.2

47

L’interaction redonne sa place à l’hommedans le choix des conformations correctespour lui.

Exemple en biologie moléculaire:interaction Homme/Chromosome

[Essabbah et al., 2009]

I.2

[Vidéo]

48

Schéma générique de communication Homme/Machine

adapté de [Bowman et al., 2005]

Personne

Machine

Périphériquesde sortie

Périphériquesd’entrée

intention action

action signauxanalyse rendu physique

rendu physique information perceptive intention

Réactionprogrammée

I.2

IMMERSION

49

Notion d’immersion [Burkhardt et al., 2003]

L’immersion est l’exposition d’un utilisateur à un environnement virtuel au moyen de dispositifs occultant tout ou partie du monde réel, pour afficher en lieu et place un monde simulé numériquement.

I.2

50

Notion d’immersion [Burkhardt et al., 2003]

Objectif:Recréer les sensations du monde réel dans unmonde virtuel à partir des dispositifs dédiés.• Stéréoscopie• Retour d’effort• Son 3D• Etc.

I.2

51

Effets indésirables de l’immersion

• Le cerveau anticipe au niveau de la boucle perception/action interne à la personne [Berthoz, 1997]

• S’il existe un petit décalage entre ce que le cerveau anticipe et ce qui se passe (incohérence), possibilité de mal du simulateur.

Exemple classique: navigation dans un monde virtuel.I.2

52

Notion d’autonomie

L’autonomie de la personne réside dans sa capacité à coordonner ses perceptions et ses actions au cours du processus de l’interaction avec les autres entités. [Ouramdane et al, 2009].

I.2

53

Présence et autonomie en réalité virtuelle

[Tisseau, 2001]

Extrait de [Ouramdane, 2009]I.2

54

Conséquence

• La personne doit être capable de comprendre intuitivement et d’anticiper l’action qu’elle produit sur le monde virtuel.

• Sinon, problèmes: la personne n’accepte pas le système.

I.2

55

Résumé

• La création d’une méthode d’interaction (I3D) en RV doit tenir compte de tous ces facteurs:– Besoin d’immersion

– Besoin de Présence

– Besoin d’autonomie

– (Co-)Influence des actions, de la perception et de l’environnement

afin de réaliser une tâche en RV/RA le mieux possible.

I.2

56

Sens : passage du réel au virtuel

I.2

1- Stéréoscopie

2- Suivi de mouvements (tracking)

3- Retour d’effort (haptique)

57

1- Stéréoscopie et vision humaine dansun environnement réel et virtuel

• Accommodation et disparité rétinienne comme principe de la vision stéréoscopique

• Différents modes de stéréoscopie pour générer des environnements virtuels 3D– Stéréoscopie active

– Stéréoscopie passive anaglyphe

– Stéréoscopie passive par polarisation

I.2

58

Point de fixation etdédoublement des images réelles

I.2

59

Convergence sur une scène réelle

I.2

60

Accommodation sur un objet réel

I.2

Le mécanisme d’accommodation se fait grâce à la variation de convergence du cristallin.

Accommodation à l’infini Accommodation à courte distance

61

Disparité rétinienne

La perception de la profondeur à partir de la disparitérétinienne s’appelle la stéréoscopie.

I.2

62

La stéréoscopie est issue d’un processus neurologique autonome.

La construction d’une image en relief n’est pas liée àla perception d’un contenu en monoculaire

I.2

Impression de profondeur

[Julesz, 1971]: Possibilité de perception du relief sansInformation monoculaire.

63

• Deux imager à créer, une pour chaque œil, puis affichées sur un écran par projection.

• Parallaxe: distance entre deux points homologues sur les deux images

Disparité rétinienne perception de la profondeur

• Chaque œil perçoit une image similaire à une image réelle.

Environnements virtuelsDeux images à générer

64

Environnements virtuels stéréoscopiquesSensibilité au point de vue

P

Og Od

Pg Pd

P

Og Od

Pd Pg

P

OgOd

Pg Pd

La position P d’un objet dans le monde virtuel varie suivant la position de l’utilisateur … et l’ordre de Pg et Pd.

Objet devant l’écran

Objet derrière l’écran

65

Environnements virtuels stéréoscopiquesRectification suivant le point de vue

P

Og Od

Pg Pd

P

Og Od

Pg Pd

P

OgOd

Pg Pd

Pour garder une position fixe de l’objet virtuel, il faut quela position et l’orientation de la tête doivent être trackées!

Modification temps réelde Pg et Pd

66

Environnements virtuels stéréoscopiquesRectification suivant le point de vue

En règle générale, une unique personne peut avoir un rendu 3d« parfait ».

67I.2

Dispositif de la visualisation stéréoscopique active

Émetteur IR

Station de travailCarte graphique 3Dtype NVIDIA Quadro

Lunette 1Coût environ 50€

… Lunette n

68I.2

Principe de la visualisation stéréoscopique active

A l’instant t: La station de travail envoie l’image gauche et un signal à l’émetteurpour obturer l’œil droit des lunettes (cristaux liquides)Les lunettes reçoivent l’information et l’interprètent via un circuit électronique interne et une source d’énergie.

A l’instant t+1/2: La station de travail envoie l’image droite et un signal à l’émetteurpour obturer l’œil gauche des lunettes (cristaux liquides)

A chaque instant, le cerveau ne perçoit qu’une image

Comme les images gauche et droite sont légèrement décalées horizontalement et persistance rétinienne, le cerveau reconstruit une image 3D nette.

69I.2

Dispositif de visualisation stéréoscopiquepassive anaglyphe

Lunette nPas besoin de sourced’énergie.

Lunette 1Coût 1 à 5 €

Projecteur monoscopique

PC standard

…

70I.2

Principe de visualisation stéréoscopiquepassive anaglyphe

Distance inter images

Utilisation de deux couleurscomplémentaires (ici rougeet cyan=vert+bleu).Deux images légèrementdécalées.

Images RGB: extraction de lacomposante R d’une part,de la composante G+Bd’autre part.Lunette filtre R (œil gauche)et G+B (œil droit)

71I.2

Dispositif de visualisation stéréoscopiquepassive par polarisation

Lunette nPas besoin de sourced’énergie.

Lunette polarisée (horizontal/vertical)Coût environ 15 €

Projecteurs monoscopiques

PC standard+ synchronisation des 2 flux vidéo

…

+Filtre polarisanthorizontal+Filtre polarisantvertical

+ écran de projectionmétallisé

72I.2

Principe de visualisation stéréoscopiquepassive par polarisation

[Vidéo polarisation horizontale/verticale]

Polarisation circulaire

73I.2

Evr@: mono-plan avec stéréoscopie active

- Projecteur stéréoscopique108 Hz-Rétroprojection sur toileSemi-transparente- Stéréoscopie active

Dispositif semi-immersif.

74I.2

Mur d’images stéréoscopique

Images stéréoscopiques polarisées

75

Dispositif CAVE

I.2

Totalementimmersif.

Tracking dupoint de vue del’utilisateur

76

Star Cave UC San Diego

I.2

Totalementimmersif.

Tracking dupoint de vue del’utilisateur

Lunettes polarisées

[Vidéo]

77

Ecran auto-stéréoscopique

I.2

Plusieurs vues disponibles sur l’écran(28 vues sur dalle 4K auto stéréoscopique)

réseaux lenticulaires.

[Vidéo]

78

Impression de 3D par suivi de point de vue, Wiimote + TV (John Lee, 2007)

I.2 [Vidéo]

79

Impression de 3D par suivi de point de vue, Kinect + 3DTV

I.2 [Vidéo]

80

2- Périphériques de tracking - Kinect

I.2

81

Périphériques de tracking - Kinect

I.2

Capteurs• profondeur (laser)• image RGB• microphoneEffecteurs• moteur (rotation 1D)

IR (bas niveau)• grille 2D profondeurs• image 2D RGB• signal sonore

IR (haut niveau)• suivi de mouvement (24 pointset positions angulaires) sur le corpshumain

82I.2

83I.2

FAAST: Squelettisation d’une à quatre personnes

Navigation grâce à FAAST+Kinect (Lab. IBISC, Projet DIGITAL OCEAN)

[Vidéo]I.2

Utilisation de FAAST + Kinectpour téléopérer un robot NAO

[Vidéo]

I.2

I.2

87

Périphériques de tracking – Système ARTTrack

I.2

• 2 caméras infrarouge ARTTrack1 muniesd’un OS Linux temps réel, rafraichies à 60 Hz;• Un serveur de tracking;• Objets rigides réfléchissants dont la forme géométriqueest mise en mémoire du serveur

• Flysticks (jusqu’à 2)• Capteur de tête• Autres objets

• Tous les objets sont identifiés par leur formegéométrique.

88

3- Rendu haptique, bras à retour d’effort

I.2

Bras Virtuose 6d

[Vidéo]

89

Rendu haptique, systèmes à câble

I.2

SPIDAR 2*3d, desktopSPIDAR 6d

90

Rendu haptique, systèmes à câble

I.2

SPIDAR 6d

Moteur/encodeur+ poulie

pour chacun des coinsdu cube.

91

Références bibliographiques

[Berthoz, 1997] Berthoz, A. « Le sens du mouvement», 345p, Odile Jacob.

[Bowman et al., 2005] Bowman, D., Kruijff, E., LaViola, J. et Poupyrev, I. « 3D User Interfaces: Theory and Practice », Addison-Wesley, Boston, 2005.

[Burkhardt, 2003] Burkhardt, J.-M., Bardy, B., Lourdeaux, D., « Immersion, réalisme et présence dans la conception et l’evaluation des Environnements Virtuels », Psychologie Française, p. 35-42, 2003.

[Essabbah et al., 2009] Essabbah, M., Otmane, S., Hérisson, J. et Mallem, M. « A New Approach to Design an Interactive System for Molecular Analysis », 13th International Conference on Human-Computer Interaction (HCI International 2009), États-Unis d'Amérique (2009).

[Fuchs et al., 2006] Fuchs, P., « Le traité de la réalité virtuelle» , Vol. 1, 380p, Presse de l’Ecole des Mines, 2006.

[Julesz, 1971] Jules, B. Julesz, B. « Foundations of Cyclopean Perception» . Chicago: The University of Chicago Press, 1971

[Ouramdane, 2008] Ouramdane, N. « Vers un système d’assistance à l’interaction 3D pour le travail et le télétravail

collaboratif dans les environnements de réalité virtuelle et augmentée », thèse de doctorat de l’Université d’Evry-Val-d’Essonne, 2008.

[Ouramdane et al., 2009] Ouramdane, N., Otmane, S. et Mallem, M. « Interaction 3D en Réalité Virtuelle - Etat de l'art », Technique et Science Informatiques (TSI) 28, 8 (2009) p. 1017—1049.

[Otmane et al., 2000] Otmane, S., Mallem, M., Kheddar, A. et Chavand, F. « ARITI : an Augmented Reality Interface for Teleoperation on the Internet », in Advanced Simulation Technologies Conference 2000, High Performance Computing” HPC 2000, Pages 254-261, April 16-20, Wyndham City Center Hotel, Washington, D.C., USA.

[Tisseau, 2001] Tisseau, J. « Réalité virtuelle : autonomie in virtuo. » Habilitation à Diriger des Recherches - Université de Rennes I. Décembre 2001.