LA REALITE VIRTUELLE ET LA REALITE …actions-incitatives.ifsttar.fr/fileadmin/uploads/recherches/geri/... · sensori-motrices et cognitives dans un monde artificiel, créé numériquement,

Philippe FUCHSEcole Mines ParisTech

Centre de Robotique

LA REALITE VIRTUELLEET LA REALITE AUGMENTEE

POURL’APPRENTISSAGE

DANS LE DOMAINE DU TRANSPORT


Centre de Robotique

FINALITE DE LA REALITE VIRTUELLE

permettre à une ou plusieurs personnes des activités sensori-motrices et cognitives dans un monde

artificiel, créé numériquement,qui peut être :- imaginaire- symbolique

- simulant certains aspects du monde réel


Centre de Robotique

un monde artificiel, créé numériquement,qui peut être imaginaire.


Centre de Robotique

un monde artificiel, créé numériquement,qui peut être symbolique.

Symboles de données à traiter Symboles de phénomènes physiques


Centre de Robotique

un monde artificiel, créé numériquement,qui peut être symbolique.

Symboles temporels Symboles spatiaux

T0

+24

27

30

33

36

39

42

45

48

E4

E5

E6

E7

E8


Centre de Robotique

un monde artificiel, créé numériquement,simulant certains aspects du monde réel.

Certaines activités en EV proches des

activités correspondantes en

ER


Centre de Robotique

Qu’une « partie » de la perception du sujet est

similaire à l’ER

(que certains sens stimulés)



Centre de Robotique


Qu’une « partie » de la perception du sujet est

similaire à l’ER(substitution sensorielle

efficace)


Centre de Robotique

Études du geste sportif (IRISA Rennes)


Qu’une « partie » de l’EV est réel

(lois non réelles, …mais efficaces…)


Centre de Robotique


Qu’une « partie » de la perception du

sujet est similaire à l’ER

(vision non réelle, … mais efficaces…)


Centre de Robotique

Les niveaux d’(inter)action en EV :- niveau avec un objectif principalement

sensori-moteur


Centre de Robotique

• Simulateurs de formation pour les conducteurs de trainsSerge Jung - Corys• Formation à la manoeuvre maritimeHervé Baudu - ENMM et Transas• GVT : environnement virtuel de formation à la maintenanceMichel Fornos - Nexter Training


Centre de Robotique

Les niveaux d’(inter)action en EV :- niveau avec un objectif principalement

cognitif


Centre de Robotique

• SCANeR : produit logiciel pour des simulateurs de formation à la conduite

Gilles Gallée - Oktal• Méthode de développement de jeux sérieux pour le contrôle aérienSerge Causse - ENAC et Jean-Yves Plantec - IODE Consulting• SIMVIZ : simulation en temps réel de gestion de trafic et

d'accidents à l'attention des concepteurs et exploitants de tunnelsFabrice Carré et Jean-Paul Digeon - SC2X• iCAT : formation du personnel des salles de contrôle à MaastrichtHermann Baret - Eurocontrol et Randall Roberts - KTM Advance• Génération d'environnements synthétiques pour la supervision

d'infrastructures (simulation, prototypage et formation)Fabien Flacher et Christophe Meyer - Thalès Transportation Systems


Centre de Robotique

DEFINITIONDE LA

REALITE AUGMENTEE


Centre de Robotique

DEFINITION DE LA REALITE AUGMENTEE

• Association visuelle d’une scène réelle avec des entités virtuelles :

• Le monde réel est vu directement et les images de synthèse sont affichées sur un visiocasque à écran semi-transparent,

• Ou les images de synthèse sont affichées sur un écran avec des images vidéo de caméras observant le monde réel.


Centre de Robotique


Centre de Robotique

Formation en RV etSerious games

• Scénario déterministe ou non ?• Scénario de jeux ou non ?• Immersion et Interaction sensori-motrices (I² s-m) élevées

ou non ?• Mise en scène ou non ?• Aspect ludique ou non ?

• Définition des serious games :Un défi cérébral, joué avec un ordinateur selon des règles spécifiques, qui utilise le divertissement en tant que valeur ajoutée pour la formation et l’entraînement (Michael Zyda)


Centre de Robotique

Approche de l’activité du sujetet non

Approche communication - langage


Centre de Robotique

Approche communication

Personne Mondevirtuel

Communication à instant t1

Communication à instant t2


Centre de Robotique

Approche activité

Personne Mondevirtuel

Action

Perception


Centre de Robotique

SujetEnvironnement

virtuelEnvironnementréel


Centre de Robotique

SujetEnvironnement

virtuelEnvironnementréel


Centre de Robotique

I²Sujet

EnvironnementvirtuelEnvironnement

réel

I² = Immersion & Interaction


Centre de Robotique

Visualisation d’une planche de bord en position de conduite (orthostéréoscopie et tête traquée)


Centre de Robotique

Interfaces motrices

Interfaces sensorielles

IMMERSION ET INTERACTION (I²)

FONCTIONNELLES

I²COGNITIVES

REALISATIONPHYSIQUE DU

MONDE VIRTUEL

MODELISATIONCOMPORTEMENTALEDU MONDE VIRTUEL

Activitésde l’homme dansle monde virtuel

Motricité désirée

Perception désirée

Centresnerveux

Réponsesmotrices

Sens

Sens

I²SENSORI-

MOTRICES

L ’HOMMELE MONDEVIRTUEL

Processuscognitifs

Métaphores

Schèmes

LogicielRV

PCV

LogicielTemps réel

ALCog

ALS-M


Centre de Robotique

LES DIFFERENTS TYPES D’APPLICATIONS

pourL’APPRENTISSAGE

dans le domaine du transport


Centre de Robotique

Les simulateurs de formation


Centre de Robotique

Contrôle et supervision d'infrastructures


Centre de Robotique

Etude d’assemblage


Centre de Robotique

Simulation d’assemblage avec retour d’effort et « pops »


Centre de Robotique

Maintenance


Centre de Robotique

Avec les techniques RA


Centre de Robotique

Sécurité


Centre de Robotique

Formation en environnement virtuelSIMULATEUR DE VOIES A LA SNCF


Centre de Robotique


Centre de Robotique

1- Simulateur de Voies (SOFI)

• Situation actuelle Public : conducteurs de TGV SNCF

Contrôle et Manœuvre d’aiguille sur LGV

PAR régule le trafic

Faible probabilité d’exercer cette activité suite à PB rare

Si incident : stress + connaissances théoriques

Ne permet pas de traiter le problème efficacement


Centre de Robotique

1- Simulateur de Voies (SOFI)• Formation actuelle

Formation classique : (Formation théorique)Formation sur le terrain

Inconvénients :Trafic perturbé /ligne très fréquentée = coût élevéUn élève actif, les autres regardentL'élève est guidé, pas d’erreurs possiblesDépendance conditions climatiques, circulation, etc..Pas de situations de stress, inattendues, etc.


Centre de Robotique

2- Avantages RV/formation

Variabilité des situations

Erreurs possibles

Rejeux

Individualisation

Disponibilité matériel

• Mieux que la formation classique


Centre de Robotique

2- Avantages RV/formation• S ’éloigner du réel pour mieux comprendre le réel

Mécanismes cachés

Phénomènes physiques invisibles à l ’œil nu

Représentations schématiques

Points de vue différents

Concepts abstraits

Direction : GAUCHE

Collage : Pointe à droite,Cœur à droite


Centre de Robotique


Centre de Robotique

V3S (Virtual Reality for Safe Seveso Substractors) :

Scénarisation en EVF à la prévention des risques sur sites SEVESO


Centre de Robotique

43

Contexte

• Formation et aide à la décision– Prévention et management des risques– Interventions sous-traitances sur sites SEVESO– Acteurs :

• manager • opérateurs/exécutants• l’apprenant peut jouer n’importe quel rôle et les

autres sont joués par des personnages virtuels autonomes

– Projet financé par l’ANR/RNTL


Centre de Robotique

44

Comment doter les PVA de capacités décisionnelles : Modèles cognitifs

Selon certaines caractéristiques statiques ou dynamiques,les PVA ne perçoivent pas, de décident pas de la mêmemanière et leurs buts changento Traits de personnalité (e.g. prudent/imprudent)o Etats physiologiques (e.g. fatigue, soif, stress)o Expertise (e.g. l’expert sait que les tuyaux sont

rarement vides même si on lui a dit le contraire)

Personnages Virtuels Autonomes


Centre de Robotique

45

Besoin Scénarisation adaptative et située

o Déclenchement des événements en lien avec les objectifs de formation, le niveau de l’apprenant et les actions de l’apprenant

Traces de l’activité, explications et indicateurs de performances

Assistances pédagogiques Utilisation des mêmes modèles que pour la génération de

comportements

Suivi de l’apprenant


Centre de Robotique

Personne

Monde virtuel

Interactivité simulé

Ordinateur

Les trois principaux problèmes scientifiques

Interfacescomportementales

? ??


Centre de Robotique

Le traité de la réalité virtuelle• 101 auteurs, volumes, 2000 pages,• Editeur : les Presses de L’Ecole des Mines de Paris

• http://www.ensmp.fr/Presses/


Centre de Robotique

L’ATELIER DE RÉFLEXION PROSPECTIVE (ARP)

de l’ANR

Prospective pour la Recherche :Education et Apprentissage à l’horizon 2030

(PREA 2030)Contact : Burkhardt Jean-marie

([email protected])


Centre de Robotique

www.afrv.fr

Documents

LA REALITE VIRTUELLE ET LA REALITE …actions-incitatives.ifsttar.fr/fileadmin/uploads/recherches/geri/... · sensori-motrices et cognitives dans un monde artificiel, créé numériquement,