LA REALITE VIRTUELLE ET LA REALITE...

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

LA REALITE VIRTUELLEET LA REALITE AUGMENTEE

POURL’APPRENTISSAGE

DANS LE DOMAINE DU TRANSPORT

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

FINALITE DE LA REALITE VIRTUELLE

permettre à une ou plusieurs personnes des activités sensori-motrices et cognitives dans un monde

artificiel, créé numériquement,qui peut être :- imaginaire- symbolique

- simulant certains aspects du monde réel

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

un monde artificiel, créé numériquement,qui peut être imaginaire.

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

un monde artificiel, créé numériquement,qui peut être symbolique.

Symboles de données à traiter Symboles de phénomènes physiques

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

un monde artificiel, créé numériquement,qui peut être symbolique.

Symboles temporels Symboles spatiaux

T0

+24

27

30

33

36

39

42

45

48

E4

E5

E6

E7

E8

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

un monde artificiel, créé numériquement,simulant certains aspects du monde réel.

Certaines activités en EV proches des

activités correspondantes en

ER

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Qu’une « partie » de la perception du sujet est

similaire à l’ER

(que certains sens stimulés)

un monde artificiel, créé numériquement,simulant certains aspects du monde réel.

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

un monde artificiel, créé numériquement,simulant certains aspects du monde réel.

Qu’une « partie » de la perception du sujet est

similaire à l’ER(substitution sensorielle

efficace)

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Études du geste sportif (IRISA Rennes)

un monde artificiel, créé numériquement,simulant certains aspects du monde réel.

Qu’une « partie » de l’EV est réel

(lois non réelles, …mais efficaces…)

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

un monde artificiel, créé numériquement,simulant certains aspects du monde réel.

Qu’une « partie » de la perception du

sujet est similaire à l’ER

(vision non réelle, … mais efficaces…)

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Les niveaux d’(inter)action en EV :- niveau avec un objectif principalement

sensori-moteur

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

• Simulateurs de formation pour les conducteurs de trainsSerge Jung - Corys• Formation à la manoeuvre maritimeHervé Baudu - ENMM et Transas• GVT : environnement virtuel de formation à la maintenanceMichel Fornos - Nexter Training

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Les niveaux d’(inter)action en EV :- niveau avec un objectif principalement

cognitif

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

• SCANeR : produit logiciel pour des simulateurs de formation à la conduite

Gilles Gallée - Oktal• Méthode de développement de jeux sérieux pour le contrôle aérienSerge Causse - ENAC et Jean-Yves Plantec - IODE Consulting• SIMVIZ : simulation en temps réel de gestion de trafic et

d'accidents à l'attention des concepteurs et exploitants de tunnelsFabrice Carré et Jean-Paul Digeon - SC2X• iCAT : formation du personnel des salles de contrôle à MaastrichtHermann Baret - Eurocontrol et Randall Roberts - KTM Advance• Génération d'environnements synthétiques pour la supervision

d'infrastructures (simulation, prototypage et formation)Fabien Flacher et Christophe Meyer - Thalès Transportation Systems

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

DEFINITIONDE LA

REALITE AUGMENTEE

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

DEFINITION DE LA REALITE AUGMENTEE

• Association visuelle d’une scène réelle avec des entités virtuelles :

• Le monde réel est vu directement et les images de synthèse sont affichées sur un visiocasque à écran semi-transparent,

• Ou les images de synthèse sont affichées sur un écran avec des images vidéo de caméras observant le monde réel.

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Formation en RV etSerious games

• Scénario déterministe ou non ?• Scénario de jeux ou non ?• Immersion et Interaction sensori-motrices (I² s-m) élevées

ou non ?• Mise en scène ou non ?• Aspect ludique ou non ?

• Définition des serious games :Un défi cérébral, joué avec un ordinateur selon des règles spécifiques, qui utilise le divertissement en tant que valeur ajoutée pour la formation et l’entraînement (Michael Zyda)

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Approche de l’activité du sujetet non

Approche communication - langage

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Approche communication

Personne Mondevirtuel

Communication à instant t1

Communication à instant t2

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Approche activité

Personne Mondevirtuel

Action

Perception

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

SujetEnvironnement

virtuelEnvironnementréel

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

SujetEnvironnement

virtuelEnvironnementréel

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

I²Sujet

EnvironnementvirtuelEnvironnement

réel

I² = Immersion & Interaction

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Visualisation d’une planche de bord en position de conduite (orthostéréoscopie et tête traquée)

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Interfaces motrices

Interfaces sensorielles

IMMERSION ET INTERACTION (I²)

FONCTIONNELLES

I²COGNITIVES

REALISATIONPHYSIQUE DU

MONDE VIRTUEL

MODELISATIONCOMPORTEMENTALEDU MONDE VIRTUEL

Activitésde l’homme dansle monde virtuel

Motricité désirée

Perception désirée

Centresnerveux

Réponsesmotrices

Sens

Sens

I²SENSORI-

MOTRICES

L ’HOMMELE MONDEVIRTUEL

Processuscognitifs

Métaphores

Schèmes

LogicielRV

PCV

LogicielTemps réel

ALCog

ALS-M

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

LES DIFFERENTS TYPES D’APPLICATIONS

pourL’APPRENTISSAGE

dans le domaine du transport

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Les simulateurs de formation

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Contrôle et supervision d'infrastructures

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Etude d’assemblage

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Simulation d’assemblage avec retour d’effort et « pops »

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Maintenance

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Avec les techniques RA

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Sécurité

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Formation en environnement virtuelSIMULATEUR DE VOIES A LA SNCF

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

1- Simulateur de Voies (SOFI)

• Situation actuelle Public : conducteurs de TGV SNCF

Contrôle et Manœuvre d’aiguille sur LGV

PAR régule le trafic

Faible probabilité d’exercer cette activité suite à PB rare

Si incident : stress + connaissances théoriques

Ne permet pas de traiter le problème efficacement

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

1- Simulateur de Voies (SOFI)• Formation actuelle

Formation classique : (Formation théorique)Formation sur le terrain

Inconvénients :Trafic perturbé /ligne très fréquentée = coût élevéUn élève actif, les autres regardentL'élève est guidé, pas d’erreurs possiblesDépendance conditions climatiques, circulation, etc..Pas de situations de stress, inattendues, etc.

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

2- Avantages RV/formation

Variabilité des situations

Erreurs possibles

Rejeux

Individualisation

Disponibilité matériel

• Mieux que la formation classique

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

2- Avantages RV/formation• S ’éloigner du réel pour mieux comprendre le réel

Mécanismes cachés

Phénomènes physiques invisibles à l ’œil nu

Représentations schématiques

Points de vue différents

Concepts abstraits

Direction : GAUCHE

Collage : Pointe à droite,Cœur à droite

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

V3S (Virtual Reality for Safe Seveso Substractors) :

Scénarisation en EVF à la prévention des risques sur sites SEVESO

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

43

Contexte

• Formation et aide à la décision– Prévention et management des risques– Interventions sous-traitances sur sites SEVESO– Acteurs :

• manager • opérateurs/exécutants• l’apprenant peut jouer n’importe quel rôle et les

autres sont joués par des personnages virtuels autonomes

– Projet financé par l’ANR/RNTL

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

44

Comment doter les PVA de capacités décisionnelles : Modèles cognitifs

Selon certaines caractéristiques statiques ou dynamiques,les PVA ne perçoivent pas, de décident pas de la mêmemanière et leurs buts changento Traits de personnalité (e.g. prudent/imprudent)o Etats physiologiques (e.g. fatigue, soif, stress)o Expertise (e.g. l’expert sait que les tuyaux sont

rarement vides même si on lui a dit le contraire)

Personnages Virtuels Autonomes

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

45

Besoin Scénarisation adaptative et située

o Déclenchement des événements en lien avec les objectifs de formation, le niveau de l’apprenant et les actions de l’apprenant

Traces de l’activité, explications et indicateurs de performances

Assistances pédagogiques Utilisation des mêmes modèles que pour la génération de

comportements

Suivi de l’apprenant

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Personne

Monde virtuel

Interactivité simulé

Ordinateur

Les trois principaux problèmes scientifiques

Interfacescomportementales

? ??

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

Le traité de la réalité virtuelle• 101 auteurs, volumes, 2000 pages,• Editeur : les Presses de L’Ecole des Mines de Paris

• http://www.ensmp.fr/Presses/

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

L’ATELIER DE RÉFLEXION PROSPECTIVE (ARP)

de l’ANR

Prospective pour la Recherche :Education et Apprentissage à l’horizon 2030

(PREA 2030)Contact : Burkhardt Jean-marie

(jean-marie.burkhardt@univ-paris5.fr)

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

www.afrv.fr