Soutenance de Thèse Etudiant: Van-Hanh NGUYEN .Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant:

ARTS et METIERS ParisTech \ CNRS \ Le2i \ Institut Image \ 2 rue Thomas Dumorey 71100 Chalon sur Sane FRANCE

APPORTS DE LA REALITE VIRTUELLE

POUR LA REEDUCATION MOTRICE

Soutenance de Thse

Etudiant: Van-Hanh NGUYEN

Encadrant: Frdric MERIENNE, Jean-Luc MARTINEZ

DANS LE CADRE DU PROJET ANR-SIMACTION

Ralise Institut Image, Arts et Mtiers ParisTech

17 Dcembre 2010

PLAN

Introduction

Outil dvaluation du geste

Interaction Homme Avatar Virtuel

Fouille de donnes de MoCap

Conclusion & perspectives

2 Apports de la ralit virtuelle pour la rducation fonctionnelle

1

2

3

4

5

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

PLAN

Introduction

Outil dvaluation du geste

Interaction Homme Avatar Virtuel

Fouille de donnes de MoCap

Conclusion & perspectives

3 Apports de la ralit virtuelle pour la rducation fonctionnelle

1

2

3

4

5

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Rducation motrice

Neurones miroirs

Ralit virtuelle pour la rducation motrice

Technologie

Avantages

Projet SimAction & problmatiques

4

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Apports de la ralit virtuelle pour la rducation fonctionnelle

5

Actions associes des objets

Mouvements quotidiens

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Rducation motrice

Entretenir & amliorer les capacits motrices des personnes ges

Apports de la ralit virtuelle pour la rducation fonctionnelle

6

Lobes externes du cerveau humain

Neurones Miroirs: Cortex moteur

Rducation Motrice: neurones miroirs

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Les neurones miroirs: activs lorsqu'un individu observe ouexcute une mme action

Apports de la ralit virtuelle pour la rducation fonctionnelle

Principe utilis pour la rducation motrice

[Buccino et al., 2004; Rizzolatti and Craighero, 2004; Binkofski et Buccino, 2004, 2006], [Nelles et al., 1999,

2001; Johansen-Berg et al., 2002]

7

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

RV pour la rducation motrice: Technologie

Apports de la ralit virtuelle pour la rducation fonctionnelle

Table virtuelle Ecran 3D CAVE

Equipement daffichage

Camras infra-rouges Vido camra MotionPod (Movea Leti)

Systme de capture du mouvement

Un outil trs puissant pour la rducation motrice

8

Avantages

Config

Apprentissage configurable

Feedback

Feedback de performance

Motivation

Motivation pour lapprentissage

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

RV pour la rducation motrice: Avantages

Apports de la ralit virtuelle pour la rducation fonctionnelle

Capture de la trajectoire du mouvement pour amliorer lapprentissage (Jaffe et al. 2004, Flash et al. 1985)

9

Avatar virtuel: point de vue de la 2me & la 3me personne

Apprentissage par observation et imitation

Amliorer linteraction en temps rel

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

RV pour la rducation motrice: Avantages

Apports de la ralit virtuelle pour la rducation fonctionnelle

Rducation motrice

Neurones miroir

Empathie posturale

Ralit virtuelle pour la rducation motrice

Technologie

Avantages

Projet SimAction & problmatiques

10

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Apports de la ralit virtuelle pour la rducation fonctionnelle

Projet pluri-disciplinaire: Thrapie physique, Ralit Virtuelle, Sport, Clinique

Labellis par ANR-2006

Partenaires: U887-INSERM, Le2i, LEAD, VirtuoFacto, EliteImage

11

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Projet SimAction

Apports de la ralit virtuelle pour la rducation fonctionnelle

12

Systme dimmersion permettant lavisualisation stroscopique de lavatarvirtuel en 3D comme dans un miroir

Exemple de jeu physique (attraperdes balles virtuelles avec la main).

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Projet SimAction: Environnement en 3D stroscopique

Apports de la ralit virtuelle pour la rducation fonctionnelle

Lunette stroscopique

Systme MoCap temps rel

13

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Projet SimAction: problmatiques scientifiques et technologiques

Apports de la ralit virtuelle pour la rducation fonctionnelle

Apport de la ralit virtuelle pour la rducation fonctionnelle 14

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Projet SimAction: problmatiques scientifiques et technologiques

Apport de la ralit virtuelle pour la rducation fonctionnelle 15

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Projet SimAction: problmatiques scientifiques et technologiques

Apport de la ralit virtuelle pour la rducation fonctionnelle 16

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Projet SimAction: problmatiques scientifiques et technologiques

Apport de la ralit virtuelle pour la rducation fonctionnelle 17

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Projet SimAction: problmatiques scientifiques et technologiques

PLAN

Introduction

Outil dvaluation du geste

Interaction Homme Avatar Virtuel

Fouille de donnes de MoCap

Conclusion & perspective

18 Apports de la ralit virtuelle pour la rducation fonctionnelle

1

2

3

4

5

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Apport de la ralit virtuelle pour la rducation fonctionnelle 19

Un valuateur de geste

Similarit entre

deux gestes

Reprsentation du

geste

Dfinition dune

fonction de distanceValidation

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Apport de la ralit virtuelle pour la rducation fonctionnelle 20

Similarit entre deux gestes

Reprsentation du geste

Dfinition dune fonction

Validation

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

10..1),.

(cos)()(

)()(1 =

= k

BB

BBCenter

ik

i

Centeri

kik

i rr

rr

Invariance temporelle et spatiale

Rduction du cout de calcul

Apport de la ralit virtuelle pour la rducation fonctionnelle 21

Similarit entre deux gestes

Reprsentation du geste

Dfinition dune fonction

Validation

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

LCSS, wLCSS

Mthode pour mesurer la similarit entre deux squences temporelles

Base sur des modles (model-based) Base sur une fonction de la distance

Modle de Markov cach Modle statistique

Rseau de neuronesRseau baysien

Machine vecteur de support

Fonction mtrique Fonction non-mtrique

Distance euclidienne: L2

Distance Manhattan L1

Distance normalise L

DTW, wDTW

EDR

ERP

TQuEST

DISSIMSwaleSpade

Les meilleures mthodes: Dynamic Time Warping (DTW) & Longest common subsequence (LCSS)

22

LCSS en temps rel

Synchronisation entre le mouvement rfrence de lavatar virtuel et celui du sujet

Similarit entre deux mouvements

Apport de la ralit virtuelle pour la rducation fonctionnelle

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Similarit entre deux gestes

Reprsentation du geste

Dfinition dune fonction

Validation

23

Posture Mouvement simple

Mouvement complexe

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Exprience & rsultat: Prparation de donnes

Apport de la ralit virtuelle pour la rducation fonctionnelle

Apport de la ralit virtuelle pour la rducation fonctionnelle 24

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Exprience & rsultat: Vidos

Suivre un geste simple

Apport de la ralit virtuelle pour la rducation fonctionnelle 25

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Exprience & rsultat: Vidos

Suivre un geste complexe

26 Apport de la ralit virtuelle pour la rducation fonctionnelle

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Exprience & rsultat9 sujets gs de 22-43 ans

Rsultat: Posture: similarit 100%Mouvement simple suivre: Haute similarit (94% - 99%)

Diffrence entre mouvement simple et mouvement complexe

27

ANOVA: Les valeurs significatives entre deux groupes p < 0,05

Apport de la ralit virtuelle pour la rducation fonctionnelle

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.F