Soutenance de Thèse Etudiant: Van-Hanh NGUYEN .Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant:

  • View
    218

  • Download
    1

Embed Size (px)

Text of Soutenance de Thèse Etudiant: Van-Hanh NGUYEN .Soutenance de Thèse Etudiant: Van-Hanh NGUYEN...

  • ARTS et METIERS ParisTech \ CNRS \ Le2i \ Institut Image \ 2 rue Thomas Dumorey 71100 Chalon sur Sane FRANCE

    APPORTS DE LA REALITE VIRTUELLE

    POUR LA REEDUCATION MOTRICE

    Soutenance de Thse

    Etudiant: Van-Hanh NGUYEN

    Encadrant: Frdric MERIENNE, Jean-Luc MARTINEZ

    DANS LE CADRE DU PROJET ANR-SIMACTION

    Ralise Institut Image, Arts et Mtiers ParisTech

    17 Dcembre 2010

    PLAN

    Introduction

    Outil dvaluation du geste

    Interaction Homme Avatar Virtuel

    Fouille de donnes de MoCap

    Conclusion & perspectives

    2 Apports de la ralit virtuelle pour la rducation fonctionnelle

    1

    2

    3

    4

    5

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

  • PLAN

    Introduction

    Outil dvaluation du geste

    Interaction Homme Avatar Virtuel

    Fouille de donnes de MoCap

    Conclusion & perspectives

    3 Apports de la ralit virtuelle pour la rducation fonctionnelle

    1

    2

    3

    4

    5

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    Rducation motrice

    Neurones miroirs

    Ralit virtuelle pour la rducation motrice

    Technologie

    Avantages

    Projet SimAction & problmatiques

    4

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    Apports de la ralit virtuelle pour la rducation fonctionnelle

  • 5

    Actions associes des objets

    Mouvements quotidiens

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    Rducation motrice

    Entretenir & amliorer les capacits motrices des personnes ges

    Apports de la ralit virtuelle pour la rducation fonctionnelle

    6

    Lobes externes du cerveau humain

    Neurones Miroirs: Cortex moteur

    Rducation Motrice: neurones miroirs

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    Les neurones miroirs: activs lorsqu'un individu observe ouexcute une mme action

    Apports de la ralit virtuelle pour la rducation fonctionnelle

    Principe utilis pour la rducation motrice

    [Buccino et al., 2004; Rizzolatti and Craighero, 2004; Binkofski et Buccino, 2004, 2006], [Nelles et al., 1999,

    2001; Johansen-Berg et al., 2002]

  • 7

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    RV pour la rducation motrice: Technologie

    Apports de la ralit virtuelle pour la rducation fonctionnelle

    Table virtuelle Ecran 3D CAVE

    Equipement daffichage

    Camras infra-rouges Vido camra MotionPod (Movea Leti)

    Systme de capture du mouvement

    Un outil trs puissant pour la rducation motrice

    8

    Avantages

    Config

    Apprentissage configurable

    Feedback

    Feedback de performance

    Motivation

    Motivation pour lapprentissage

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    RV pour la rducation motrice: Avantages

    Apports de la ralit virtuelle pour la rducation fonctionnelle

  • Capture de la trajectoire du mouvement pour amliorer lapprentissage (Jaffe et al. 2004, Flash et al. 1985)

    9

    Avatar virtuel: point de vue de la 2me & la 3me personne

    Apprentissage par observation et imitation

    Amliorer linteraction en temps rel

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    RV pour la rducation motrice: Avantages

    Apports de la ralit virtuelle pour la rducation fonctionnelle

    Rducation motrice

    Neurones miroir

    Empathie posturale

    Ralit virtuelle pour la rducation motrice

    Technologie

    Avantages

    Projet SimAction & problmatiques

    10

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    Apports de la ralit virtuelle pour la rducation fonctionnelle

  • Projet pluri-disciplinaire: Thrapie physique, Ralit Virtuelle, Sport, Clinique

    Labellis par ANR-2006

    Partenaires: U887-INSERM, Le2i, LEAD, VirtuoFacto, EliteImage

    11

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    Projet SimAction

    Apports de la ralit virtuelle pour la rducation fonctionnelle

    12

    Systme dimmersion permettant lavisualisation stroscopique de lavatarvirtuel en 3D comme dans un miroir

    Exemple de jeu physique (attraperdes balles virtuelles avec la main).

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    Projet SimAction: Environnement en 3D stroscopique

    Apports de la ralit virtuelle pour la rducation fonctionnelle

    Lunette stroscopique

    Systme MoCap temps rel

  • 13

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    Projet SimAction: problmatiques scientifiques et technologiques

    Apports de la ralit virtuelle pour la rducation fonctionnelle

    Apport de la ralit virtuelle pour la rducation fonctionnelle 14

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    Projet SimAction: problmatiques scientifiques et technologiques

  • Apport de la ralit virtuelle pour la rducation fonctionnelle 15

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    Projet SimAction: problmatiques scientifiques et technologiques

    Apport de la ralit virtuelle pour la rducation fonctionnelle 16

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    Projet SimAction: problmatiques scientifiques et technologiques

  • Apport de la ralit virtuelle pour la rducation fonctionnelle 17

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    Projet SimAction: problmatiques scientifiques et technologiques

    PLAN

    Introduction

    Outil dvaluation du geste

    Interaction Homme Avatar Virtuel

    Fouille de donnes de MoCap

    Conclusion & perspective

    18 Apports de la ralit virtuelle pour la rducation fonctionnelle

    1

    2

    3

    4

    5

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

  • Apport de la ralit virtuelle pour la rducation fonctionnelle 19

    Un valuateur de geste

    Similarit entre

    deux gestes

    Reprsentation du

    geste

    Dfinition dune

    fonction de distanceValidation

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    Apport de la ralit virtuelle pour la rducation fonctionnelle 20

    Similarit entre deux gestes

    Reprsentation du geste

    Dfinition dune fonction

    Validation

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    10..1),.

    (cos)()(

    )()(1 =

    = k

    BB

    BBCenter

    ik

    i

    Centeri

    kik

    i rr

    rr

    Invariance temporelle et spatiale

    Rduction du cout de calcul

  • Apport de la ralit virtuelle pour la rducation fonctionnelle 21

    Similarit entre deux gestes

    Reprsentation du geste

    Dfinition dune fonction

    Validation

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    LCSS, wLCSS

    Mthode pour mesurer la similarit entre deux squences temporelles

    Base sur des modles (model-based) Base sur une fonction de la distance

    Modle de Markov cach Modle statistique

    Rseau de neuronesRseau baysien

    Machine vecteur de support

    Fonction mtrique Fonction non-mtrique

    Distance euclidienne: L2

    Distance Manhattan L1

    Distance normalise L

    DTW, wDTW

    EDR

    ERP

    TQuEST

    DISSIMSwaleSpade

    Les meilleures mthodes: Dynamic Time Warping (DTW) & Longest common subsequence (LCSS)

    22

    LCSS en temps rel

    Synchronisation entre le mouvement rfrence de lavatar virtuel et celui du sujet

    Similarit entre deux mouvements

    Apport de la ralit virtuelle pour la rducation fonctionnelle

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    Similarit entre deux gestes

    Reprsentation du geste

    Dfinition dune fonction

    Validation

  • 23

    Posture Mouvement simple

    Mouvement complexe

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    Exprience & rsultat: Prparation de donnes

    Apport de la ralit virtuelle pour la rducation fonctionnelle

    Apport de la ralit virtuelle pour la rducation fonctionnelle 24

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    Exprience & rsultat: Vidos

    Suivre un geste simple

  • Apport de la ralit virtuelle pour la rducation fonctionnelle 25

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    Exprience & rsultat: Vidos

    Suivre un geste complexe

    26 Apport de la ralit virtuelle pour la rducation fonctionnelle

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

    Exprience & rsultat9 sujets gs de 22-43 ans

    Rsultat: Posture: similarit 100%Mouvement simple suivre: Haute similarit (94% - 99%)

  • Diffrence entre mouvement simple et mouvement complexe

    27

    ANOVA: Les valeurs significatives entre deux groupes p < 0,05

    Apport de la ralit virtuelle pour la rducation fonctionnelle

    1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.F