Reeducation et JV NUI Co-conception Exemple H&P References

Conception de Jeux Video pour la Reeducation

MELIA Geoffrey

NaturalPad - Universite de Technologie de Troyes

15 septembre 2014

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 1/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

1 Reeducation et Jeux video

2 Les interfaces naturelles ou d’acquisition du mouvement (NUI)

3 La conception de jeux serieux sante : une approche collaborative

4 L’exemple de Hammer and Planks

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 2/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

1 Reeducation et Jeux video

2 Les interfaces naturelles ou d’acquisition du mouvement (NUI)

3 La conception de jeux serieux sante : une approche collaborative

4 L’exemple de Hammer and Planks

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 3/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Reeducation fonctionnelle

Principe : repetition de mouvements

Plus l’exercice est repete plus la reeducation est efficace. Micera

et al, 2003

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 4/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Reeducation fonctionnelle

Principe : repetition de mouvements

Plus l’exercice est repete plus la reeducation est efficace. Micera

et al, 2003

La motivation : un facteur essentiel

Plus la motivation est grande, plus on conserve une participationactive et on augmente l’observance. Flores et al. (2008)

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 4/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Reeducation fonctionnelle

Principe : repetition de mouvements

Plus l’exercice est repete plus la reeducation est efficace. Micera

et al, 2003

Auto-reeducation a domicile : de nombreux abandons

Ex : seulement 31 % d’adhesion au traitement post-AVC aux USAShaughnessy et Macko (2006)

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 4/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Reeducation et jeux video

Utilisation de jeux et jeux video dans le quotidien des praticiens.

Resultat recherche

Augmenter et maintenir la motivation des patients.

Le facteur de la motivation des JV est leur challenge. Burke et al, 09MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 5/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Reeducation et jeux

Avantages

repetition

intensite

frequence

observance

Limites

pas d’expertise sante,

peu adaptes : difficulte, mouvements a effectuer, intensite...

pas ou peu ajustables,

pas de suivi du patient ou decorrele des capacites.

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 6/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Reeducation et jeux

Avantages

repetition

intensite

frequence

observance

Limites

pas d’expertise sante,

peu adaptes : difficulte, mouvements a effectuer, intensite...

pas ou peu ajustables,

pas de suivi du patient ou decorrele des capacites.

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 6/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Jeux video et reeducation

Hypothese de travail

L’aspect motivationnel revet une importance certaine dansl’efficience, le volume et la frequence du travail de soin d’unepersonne. Des SG adaptes pourraient donc avoir un reel beneficeen terme d’acceptation et de suivi de la therapie.

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 7/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

1 Reeducation et Jeux video

2 Les interfaces naturelles ou d’acquisition du mouvement (NUI)

3 La conception de jeux serieux sante : une approche collaborative

4 L’exemple de Hammer and Planks

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 8/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Interface utilisateur naturelle (NUI)

Definition

Interface permettant a un utilisateur de realiser des interactionscomplexes et intuitives de maniere transparente.

NUI et jeux serieux

Objectifs : reconnaitre un maximum de mouvements naturels.

R&D : ameliorer la reconnaissance des mouvements :precision, temps reel, fiabilite.

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 9/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Interface utilisateur naturelle (NUI)

Definition

Interface permettant a un utilisateur de realiser des interactionscomplexes et intuitives de maniere transparente.

NUI et jeux serieux

Objectifs : reconnaitre un maximum de mouvements naturels.

R&D : ameliorer la reconnaissance des mouvements :precision, temps reel, fiabilite.

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 9/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Interface utilisateur naturelle

Quelques exemples...

Figure : Kinect de Microsoft

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 10/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Interface utilisateur naturelle

Quelques exemples...

Figure : Nunchuk et Wiimote de Nintendo

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 10/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Interface utilisateur naturelle

Quelques exemples...

Figure : Virtualizer de Cyberith

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 10/ 24

Tableau comparatif de differentes UI

Les bras

Nom Novint XIO GipsyMidi QuhaZono Myo

Coûts 250€ £1105 environ 700€ $149

Parties Corps bras / marche bras / poignet corps entierdoigt / poignet/ bras

Avantagesbras mécanique(pas de latence) précis précis / sans fil

détecte le moindremouvement de doigts etbras

Inconvénients

-temps d'installation-contact avec lapersonne

-temps d'installation-contact physique-orienter musique

-besoin d'espace /-contact physique port d'un bracelet

Le corps

Nom MVN Awinda Vicon QuhaZono Kinect 1 Virtualizer

Coûts >10K >10K environ 700€ 216€ environ $600

Parties Corps corps entier corps entier corps entier corps entier pied / bassin

Avantages très précis ultra précis précis / sans filpas de contact avecla personne

précis / pas besoinchaussures / port decasque RV

Inconvénientsdestiné auxprofessionnels

besoin d'une pièceentière pour lacapture

- besoin d'espace /- en contact avecla personne besoin d'espace simulation marche

Nom Omni Kinect 2 PriorVR Perception Neuron

Coûts $499 $199 $289 à $429 $175 à $500

Parties Corps pied / bassin corps entier corps entier corps entier

Avantagesprécis / port decasque RV

stable, reco faciale,pas de contact,large foe, multiuser

mouvement 1 to 1 entemps réel

on place les capteursoù on veut

Inconvénients

contact avecla personne / besoinde chaussure

distance min 1,4 mètr/ besoin d'espace

contact avec lapersonne / besoind'espace contact avec le corps

Figure : Extrait de comparatif des NUIs, par zone captee. B.Fidahoussen, NaturalPad 2014

Reeducation et JV NUI Co-conception Exemple H&P References

1 Reeducation et Jeux video

2 Les interfaces naturelles ou d’acquisition du mouvement (NUI)

3 La conception de jeux serieux sante : une approche collaborative

4 L’exemple de Hammer and Planks

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 12/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Creation d’un jeu video

La creation d’un jeu video

Createurs

Game designer, game developer, level designer, game producer,concept artist, 3D modeler, audio artist, video editor, etc.

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 13/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Et pour un jeu de reeducation?

La creation d’un serious game...

Acteurs supplementaires

”Experts serieux” : ingenieur pedagogique, professionnel de sante,specialiste, sponsor, ingenieurs, artisans, etc.

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 14/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Et pour un jeu de reeducation?

... pour la sante

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 15/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Et pour un jeu de reeducation?

... pour la sante

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 15/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Conception participative de jeux de reeducation

De la conception participative...

Un grand nombre de corps de metier et competences

→ besoin de fusionner au mieux ces connaissances :medicales, technologiques et ludographiques.

... de maniere continue.Rester au plus proche du besoin reel :

- Faire evaluer regulierement l’evolution par les differents experts.- Faire tester par les patients, principaux utilisateurs.

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 16/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Conception participative de jeux de reeducation

De la conception participative...

Un grand nombre de corps de metier et competences

→ besoin de fusionner au mieux ces connaissances :medicales, technologiques et ludographiques.

... de maniere continue.Rester au plus proche du besoin reel :

- Faire evaluer regulierement l’evolution par les differents experts.- Faire tester par les patients, principaux utilisateurs.

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 16/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Conception participative de jeux de reeducation

Conception participative de jeux de reeducation

Positionnement : s’adresser a des professionnels du JV et du SG

Aider a ameliorer des points importants comme la vitesse deproduction, la qualite des jeux ou la satisfaction des patients etsoignants.

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 17/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Conception participative de jeux de reeducation

Conception participative de jeux de reeducation

Hypothese de travail

Prendre en consideration a la fois la composante ludique etl’intention serieuse des le debut du processus de conception pourles fusionner au mieux.

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 18/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Conception participative de jeux de reeducation

Conception participative de jeux de reeducation

Le controle, lien entre objectifs therapeutiques et ludographie.

Identifier les mouvements de reeducation,

Identifier les gameplays usant de ces mouvements ouadaptables,

Repenser le jeu en identifiant les verrous possibles.

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 19/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Conception participative de jeux de reeducation

Figure : Classification des objectifs therapeutiques generaux - Melia, 2013

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 20/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Conception participative de jeux de reeducation

Figure : Classification des objectifs therapeutiques moteurs - Melia, 2013

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 20/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Conception participative de jeux de reeducation

Comment

S’inspirer de techniques comme l’impact mapping, les cartesd’empathie ou les storyboards.

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 21/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Conception participative de jeux de reeducation

Comment

S’inspirer de techniques comme l’impact mapping, les cartesd’empathie ou les storyboards.

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 21/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Conception participative de jeux de reeducation

Comment

S’inspirer de techniques comme l’impact mapping, les cartesd’empathie ou les storyboards.

Figure : Extrait du storyboard d’utilisation de la plateforme de kinesitherapie

MediMoov de NaturalPad.MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 21/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

1 Reeducation et Jeux video

2 Les interfaces naturelles ou d’acquisition du mouvement (NUI)

3 La conception de jeux serieux sante : une approche collaborative

4 L’exemple de Hammer and Planks

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 22/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

Hammer and Planks

Explications et demonstration

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 23/ 24

Reeducation et JV NUI Co-conception Exemple H&P References

References

Burke, McNeill, Charles, Morrow, Crosbie and McDonough. Serious games for

upper limb rehabilitation follo- wing stroke. In Games and Virtual Worlds for

Serious Applications, 2009. VS-GAMES’09. Conference in, pages 103-110.

IEEE, 2009

Flores, Eletha, et al. ”Improving patient motivation in game development for

motor deficit rehabilitation.” Proceedings of the 2008 International Conference

on Advances in Computer Entertainment Technology. ACM, 2008.

Micera, S., Carrozza, M. C., Guglielmelli, E., Cappiello, G., Zaccone, F., Freschi,

C., Colombo, R., Mazzone, a., Delconte, C., Pisano, F., Minuco, G., Dario, P.:

A Simple Robotic System for Neurorehabilitation. In: Autonomous Robots Vol.

19 (3), pp. 271–284 (2005)

MELIA Geoffrey Conception de JV pour la Reeducation 15 septembre 2014 24/ 24