Revue Électronique Francophone d’Informatique Graphique, Volume 7, Numéro 2, pp. 1–6, 2014

Représentation augmentée pour les arts corporels internes

Éric Bittar et Olivier Nocent

CReSTIC, Université de Reims Champagne Ardenne

Figure 1 : Exemples de représentations augmentées d’un art corporel interne :empreintes des articulations, visualisation d’une sphère d’intention et corrélation entre la respiration et le geste

RésuméL’utilisation de capteurs low-cost pour numériser le mouvement trouve une application naturelle avec les arts corporelsinternes. Ces disciplines présentent des formes corporelles dynamiques cycliques dont le pouvoir évocateur est lié à lavariation de rythmes des mouvements et à la qualité de présence de l’exécutant. La représentation numérique de cesformes en réalité augmentée fait appel à des modes de visualisation qui en soulignent la dynamique particulière.AbstractThe use of low-cost sensors to scan the movement is a natural application with internal bodily arts. These disciplinespresent dynamic and cyclic body shapes whose evocative power is related to the change of movement rhythms and qualityof presence of the performer. The digital representation of these forms using augmented reality lies in display modes thatemphasize their particular dynamics.

Mots clé: Acquisition de mouvement, réalité augmentée, enseignement

1. Introduction

1.1. Contexte des arts corporels internes

Notre objet d’étude consiste en l’enseignement des artscorporels internes. Ces arts se caractérisent par une re-cherche d’harmonie entre les gestes effectués et l’intentionà l’origine du geste. Par conséquent cette pratique s’ins-crit dans une approche holistique où la posture, la respira-tion, l’état de relaxation participent à la bonne intégration degestes codifiés.

L’enseignement d’une pratique corporelle consiste tradi-tionnellement en deux aspects : la démonstration, où l’en-seignant montre le geste à effectuer, et l’explicitation verbaledes mouvements et des postures (comment placer la main, ou

comment basculer le bassin par exemple). La dimension ho-listique est difficile à percevoir pour un néophyte et nécessiteun troisième aspect pédagogique, qui vise à la découvertepersonnelle de l’importance du souffle comme moteur natu-rel. Contrairement à la gymnastique, il s’agit là de ressentircomment l’élan du mouvement est initié par une conscienceinterne, et non par une volonté de bien faire pour reproduireun geste à l’identique.

1.2. Apport des technologies numériques

Notre contribution, présentée dans cet article, propose uneapproche pour répondre à cette problématique pédagogique.Et au delà de cette dimension, nos développements per-mettent également des effets artistiques qui peuvent enrichir

c© REFIG 2015, Revue Électronique Francophone d’Informatique Graphique.Publié par l’Association Fran caise d’Informatique Graphique

2 Éric Bittar et Olivier Nocent / Représentation augmentée pour les arts corporels internes

une démonstration ou une chorégraphie. Dans les sectionssuivantes, nous décrivons une solution, basée sur les techno-logies numériques, visant à augmenter notre perception dugeste afin d’en saisir la globalité sensible.

L’objectif de cette augmentation ne consiste pas à ef-facer l’enseignant derrière l’outil technologique. Mais aucontraire, par la technologie, d’offrir à l’enseignant unmoyen d’expression non verbal facilitant la communicationet la compréhension du message qu’il transmet à ses élèves.L’augmentation permet, au delà des phénomènes visibles, demettre en évidence l’implication, l’attitude interne de la per-sonne, dans la réalisation de son geste.

D’autre part, notre propos n’est pas d’envisager la concep-tion d’un nouvel outil technologique répondant à cette pro-blématique précise. La société contemporaine produit déjà,et à un rythme effréné, de nombreuses innovations technolo-giques. La démarche que nous privilégions est de capitalisersur cette informatique ambiante composée d’objets connec-tés aux finalités diverses. Il s’agit en fait d’imaginer un dis-positif hybride né de l’assemblage de ces nombreux objetstechnologiques.

Cette démarche, qui relève du détournement, consiste àenvisager des usages alternatifs à des objets distribués dansune logique consumériste d’usages prédéfinis et limités. Ence sens, nous nous inscrivons dans les démarches initiéespar le Do It Yourself, les Makers ou encore les FabLab.Il s’agit bien là d’une réappropriation des technologies quinous entourent : la perte de contact avec son environnementproche et la dispersion, inhérentes aux nouvelles technolo-gies de l’information et de la communication, doivent fairel’objet d’une reprise en main pour inventer de nouvelles in-teractions sociales par la technologie. Plus généralement, leschercheurs et les entrepreneurs doivent intégrer les implica-tions sociétales de leurs inventions afin de se mettre au ser-vice d’une véritable ingénierie de l’innovation sociale.

Ce renversement des rôles de dépendance entre l’indi-vidu et la technologie représente une opportunité de rame-ner, dans notre rapport aux objets connectés, une part de sen-sible et d’attention à l’autre par le prisme de l’augmentationdes perceptions et des émotions. Cette capacité à percevoirl’autre, au delà de l’image de son corps, est une porte ouvertevers plus d’empathie et d’universalité.

2. Vers un dispositif d’augmentation du geste

Un dispositif d’augmentation des perceptions s’appuie enpremier lieu sur des périphériques d’acquisition permettantde collecter des informations diverses par leur nature maiscomplémentaires car issues d’un même phénomène.

Les informations collectées, une fois corrélées et traitées,sont restituées sous la forme d’une augmentation. Cette aug-mentation peut-être visuelle, voire auditive ou kinesthésiquede façon à solliciter plusieurs sens. Cette stratégie de com-

muniquer simultanément à travers plusieurs canaux senso-riels permet, en premier lieu, d’éviter la saturation du canalvisuel si l’information à restituer est particulièrement dense.Mais certains canaux, comme l’audition, peuvent être pluspropices à véhiculer une émotion, un ressenti.

De manière conceptuelle, ce dispostif peut s’envisagercomme un hub cognitif alimenté par des perceptions re-stranscrites sous la forme de sensations. Dans la suite del’article, nous énumérons les signaux accessibles grâce à lacaméra Kinect 2 et proposons différentes modalités de resti-tution de l’augmentation.

2.1. Acquisition du geste

En accord avec notre démarche de détournement des ob-jets technologiques participant de cette informatique am-biante, nous nous sommes naturellement orientés vers la ca-méra Kinect 2 de Microsoft R©. Cette caméra, initialementcommercialisée en tant qu’accessoire de la console de jeuvideo Xbox One, est équipée d’une caméra vidéo, d’un cap-teur de profondeur et d’un microphone. La version pourWindows R© de Kinect 2 est fournie avec un kit de dévelop-pement permettant de concevoir des applications exploitantles différentes informations issues du périphérique.

Par exemple, à partir de la carte de profondeur, la caméraest en mesure d’estimer la posture des personnes se tenantdebout devant l’objectif. Le système calcule en temps réel laposition et la rotation des principales articulations du corps.

Au delà de son prix modique (environ 200 e), ce systèmea l’avantage d’être facilement transportable et ne requiert au-cune étape fastidieuse de calibrage pour être utilisé. Enfin, ilest moins invasif que des systèmes d’acquisition de mouve-ment magnétique ou optique qui peuvent dénaturer le mou-vement contraint par l’appareillage. Depuis l’apparation deces nouveaux capteurs RGB+D (Color Image + Depth), plu-sieurs études métrologiques ont été publiées sur la qualité del’acquisition [GJRVF∗13] : la précision (différence entre lavaleur mesurée et la valeur réelle) varie entre 5 et 15mm àune distance de 1m, de 5 à 25mm à une distance de 2m. Bienque ces nouveaux périphériques ne soient pas en mesure derivaliser avec des systèmes d’acquisiton de mouvement pro-fessionnels, ils peuvent constituer une alternative viable pourdes applications qui ne requierent pas une très grande préci-sion (inférieure à 1mm).

D’ailleurs, ces capteurs ont déjà été utilisés avec suc-cès dans des contextes très divers : l’évaluation des risquesde chute chez les personnes agées [SS11], la rééducationde personnes accidentées ou souffrant de handicap phy-sique [DGCFT12, Hua11], la caractérisation de paramètresmorphométriques liés à l’obésité [CPBB∗13] , l’analyse dela posture [AKD∗11, NTCP∗13] ou bien l’amélioration duposte de travail en ergonomie [Dut12].

c© REFIG 2015.

Éric Bittar et Olivier Nocent / Représentation augmentée pour les arts corporels internes 3

2.2. Au delà du geste

Au delà de l’estimation de la posture, les signaux couleuret infrarouge issues de la caméra Kinect 2 peuvent être ex-ploités pour accéder à d’autres paramètres physiologiques.En utilisant un algorithme de séparation de sources permet-tant d’amplifier les variations colorimétriques dues au fluxsanguin capillaire [WRS∗12], il est possible d’estimer la fré-quence cardiaque de la personne se tenant devant l’objectif.

Par ailleurs, le microphone peut lui aussi être mis à profitpour analyser le son de la respiration afin d’esitmer la fré-quence du cycle des inspirations et expirations.

Enfin, d’autres capteurs peuvent être ajoutés à notre dis-positif hybride afin d’enrichir le hub cognitif de nouvellesperceptions. Par exemple, les bracelets connectés MyoTMdela société ThalmicLabsTMembarquent un électromyographeminiaturisé permettant de mesurer les courants électriquesliés à l’activité musculaire.

2.3. Restitution par l’augmentation

À partir de multiples perceptions, le système est capablede proposer des restitutions qui peuvent prendre des formesvariées. La restitution visuelle par superposition d’informa-tions peut s’avérer pertinente car elle combine la gestuelle(perçue par le capteur vidéo) avec des représentations vi-suelles des informations non visibles (respiration, fréquencecardiaque). Dans ce cas, l’image synthétique résultant del’augmentation peut être présentée à l’utilisateur de diffé-rentes manières : par projection sur grand écran ou sur deslunettes de réalité augmentée, par le biais d’un casque deréalité virtuelle.

Mais l’augmentation peut s’appuyer sur d’autres senscomme l’audition par exemple : le son du ressac de l’océancalé sur la respiration de l’enseignant peut être une abstrac-tion à la fois évocatrice et porteuse d’une émotion propice àla relaxation.

Quelque soit sa forme, la vocation de l’augmentation estde permettre à l’élève d’accéder à la perception du ressentiinhérent à la pratique d’un art corporel interne.

3. Application au Wutao

Les arts martiaux chinois se divisent entre arts externes,pour lesquels l’accent est mis sur le travail musculaire, etarts internes. Le Kung Fu est un exemple d’art martial ex-terne : originaire du temple bouddhiste de Shaolin, il estconnu comme technique de combat.

Les arts martiaux internes proviennent du monastèretaoïste du mont Wudang. Ils prônent un travail intérieur basésur le souffle vital (Chi) et la conscience, à travers le principede l’agir par le non-agir (Wu Wei). La pratique la plus ré-pandue en France est le Taï Chi Chuan. Par ailleurs d’autrespratiques traditionnelles chinoises comme le Chi Gong sont

appelées arts énergétiques. Leur but est d’entretenir la santéet le bien-être, en harmonisant l’esprit, le corps et la respira-tion.

Inspiré de plusieurs de ces pratiques, dont le Chi Gonget le Taï Chi Chuan, le Wutao a été créé en France en 2000par un ancien champion du monde de Kung Fu et une ensei-gnante de yoga, danseuse et comédienne, spécialisée dans leThéâtre Mouvement. A l’instar de ces disciplines, le Wutaoest composé de douze mouvements fondamentaux codifiés,ou formes. Sa particularité réside dans le fait que ces formesnaissent d’un mouvement ondulatoire essentiel, qui se déve-loppe dans le corps au fur et à mesure des enchaînements.La répétition d’une même forme peut être exécutée à desvitesses différentes, de la quasi-immobilité à une cadenceextrêmement rapide.

3.1. Matériel et méthodes

Nous présentons ici les résultats obtenus avec la caméraKinect 2, et la bibliothèque de codage créatif openFrame-works.

3.2. Trajectoire des articulations

Une possibilité de la Kinect est de fournir en temps réelles coordonnées 3D des articulations principales du corps,et ce pour une à six personnes. Celà permet de produire undes modes de description du mouvement, qui est la trajec-toire de ces articulations. Nous avons choisi de représenterla trajectoire de huit points : l’épaule, le coude, le poignet etla main, pour chaque bras. Le mouvement est lissé à l’aided’une moyenne glissante, et les points sont représentés avecdes couleurs distinctes (cf figure 2). S’il est illustratif, cemode n’est pas spécifique aux arts corporels internes.

3.3. Représentation de la sphère d’intention

Dans le mouvement appelé l’envol de la sphère, le pra-tiquant est invité à imaginer et ressentir une sphère vir-tuelle entre les paumes de ses mains. L’augmentation vi-suelle prend tout son sens ici, avec la représentation gra-phique de cette sphère (cf figure 3). La démonstration est vi-suelle et explicite lorsque l’on regarde de l’extérieur une ani-mation ainsi augmentée, mais elle devient sensorielle quandle pratiquant découvre en temps réel la sphère qui se maté-rialise sur l’écran en même temps qu’il effectue le mouve-ment. La sensation physique de l’existence de cette sphèrepeut effectivement être ressentie.

3.4. Représentation des phases de la respiration

La coordination de la respiration avec les formes est d’uneimportance particulière pour le bien-être du mouvement.C’est pourquoi nous avons choisi d’enregistrer le souffle de

c© REFIG 2015.

4 Éric Bittar et Olivier Nocent / Représentation augmentée pour les arts corporels internes

Figure 2 : Les trajectoires des bras dans le 12ème mouvement du Wutao, "l’envol de la sphère"

Figure 3 : La sphère d’intention dans le 12ème mouvement du Wutao, "l’envol de la sphère"

manière simultanée avec les positions du corps, et de trai-ter le signal audio pour en extraire les pics, afin de détermi-ner les phases de la respiration. Par une transposition mo-dale, un système bicolore permet de visualiser les momentsd’inspiration et d’expiration. L’apprenant peut alors modéli-ser sensoriellement le geste, en s’affranchissant de la parolede l’enseignant qui explicitait verbalement la synchronisa-tion du mouvement et de la respiration.

Dans la figure 2, l’histogramme défilant de droite à gauchemontre en vert l’inspiration et en bleu l’expiration. Ce mêmecode est repris dans la couleur des trajectoires des bras. Cettedernière modalité permet à un apprenant qui visionne la vi-déo de s’approprier les deux phases du souffle, et égale-ment de s’imprégner du sentiment interne de l’enseignantqui montre le geste.

c© REFIG 2015.

Éric Bittar et Olivier Nocent / Représentation augmentée pour les arts corporels internes 5

Figure 4 : Représentation des phases de la respiration dans le 11ème mouvement du Wutao, "l’alchimie de l’eau et du feu"

Figure 5 : Effet visuel à portée sémantique dans le 11ème mouvement du Wutao, "l’alchimie de l’eau et du feu"

3.5. Effets esthétiques et symboliques

Les arts corporels internes sont remarquables par la di-mension esthétique et sensible des mouvements qu’ils pro-posent. Ces qualités peuvent être nourries par des élémentsvisuels accordés aux mouvements. Nous avons ainsi déve-loppé un mode de visualisation par un système de particules,inspiré d’ofxGPUParticles, un addon openFrameworks dé-veloppé par Neil Mendoza. Le calcul de la mise à jour despositions et des vitesses est effectué dans un fragment sha-der, ce qui permet de gérer en temps réel 1 000 000 de parti-cules.

Les positions des mains sont utilisées comme émetteursde particules, et comme attracteurs pour les particules exis-tant dans l’environnement. Les particules ont un temps devie aléatoire. Elles sont émises avec la vitesse courante deleur émetteur. Leur représentation utilise la transparence ad-ditive.

La figure 5, illustre l’application de ce système de par-ticules sur le mouvement appelé "l’alchimie de l’eau et dufeu". Dans cette forme, les gestes symbolisent l’eau qui

s’écoule et le feu qui s’élève. Nous avons ainsi implémentédeux types de particules correspondant sémantiquement aunom de la forme. Ils diffèrent l’un de l’autre par la couleur etpar le sens dans lequel opère la gravité : vers le bas pour lesparticules d’eau, et vers le haut pour les particules de feu.

4. Conclusion et Perspectives

Dans cet article, nous avons présenté notre démarche vi-sant à restituer, par l’augmentation, la globalité des formes,gestes codifiés des arts corporels internes. Cette augmenta-tion offre un outil innovant aux enseignants pour transmettreleur pratique de ces arts corporels de façon plus directe etsensible en mettant en évidence des phénomènes non vi-sibles mais essentiels dans l’exécution des formes.

Cette démarche de restitution par l’augmentation s’arti-cule autour du concept de hub cognitif qui se nourrit de per-ceptions variées proposées par le dispositif hybride pour lesrestituer sous forme de sensations mobilisant les différentscanaux sensoriels (vision, audition, proprioception, ...).

Ce concept décliné dans le cadre des arts corporels in-

c© REFIG 2015.

6 Éric Bittar et Olivier Nocent / Représentation augmentée pour les arts corporels internes

ternes pourra s’appliquer à d’autres territoires d’expérimen-tation. Nous sommes notamment associés au projet "Tis-sage d’Interactions Sociales Innovantes par la Création Ar-tistique" porté par Césaré (centre national de création mu-sicale) et financé par le Conseil Régional Champagne-Ardenne dans le cadre des projets de recherche action. Ceprojet vise à concevoir des dispostifs numériques pour desateliers de médiation culturelle destinés à des personnes fra-giles souffrant d’isolement (personnages agées, patients Alz-heimer). Le recours à l’augmentation permettrait de recréerun lien à partir d’une communication non verbale, véhicu-lant souvenirs et émotions.

5. remerciements

Merci à Pol Charoy et Imanou Risselard, les créateurs duWutao, pour la synthèse originale qu’ils ont opérée des artscorporels internes traditionnels et de la danse. Merci à Ma-rine Mille, excellente enseignante de Wutao, pour sa partici-pation enthousiaste à ce projet.

Références[AKD∗11] ALEXIADIS D. S., KELLY P., DARAS P., O’CON-

NOR N. E., BOUBEKEUR T., MOUSSA M. B. : Evaluating adancer’s performance using kinect-based skeleton tracking. InProceedings of the 19th ACM International Conference on Mul-timedia (New York, NY, USA, 2011), MM ’11, ACM, pp. 659–662. URL : http://doi.acm.org/10.1145/2072298.2072412, doi:10.1145/2072298.2072412.

[CPBB∗13] CHALENÇON-PIOTIN S., BENASSAROU A., BLAN-CHARD F., NOCENT O., BERTIN É. : Abdominal morphome-tric data acquisition using depth sensors. In 15th Internatio-nal Conference on e-Health Networking, Applications and Ser-vices (Lisbon, Portugal, octobre 2013), IEEE CommunicationsSociety, pp. 653–657. 2

[DGCFT12] DA GAMA A., CHAVES T., FIGUEIREDO L., TEI-CHRIEB V. : Poster : Improving motor rehabilitation processthrough a natural interaction based system using Kinect sensor. InIEEE Symposium on 3D User Interfaces (3DUI) (2012), pp. 145–146. doi:10.1109/3DUI.2012.6184203. 2

[Dut12] DUTTA T. : Evaluation of the KinectTM sensor for 3-D kinematic measurement in the workplace. Applied Ergono-mics. Vol. 43, Num. 4 (2012), 645–649. doi:10.1016/j.apergo.2011.09.011. 2

[GJRVF∗13] GONZALEZ-JORGE H., RIVEIRO B., VAZQUEZ-FERNANDEZ E., MARTÍNEZ-SÁNCHEZ J., ARIAS P. : Me-trological evaluation of Microsoft Kinect and Asus Xtion sen-sors. Measurement. Vol. 46, Num. 6 (2013), 1800–1806. doi:10.1016/j.measurement.2013.01.011. 2

[Hua11] HUANG J.-D. : Kinerehab : a kinect-based system forphysical rehabilitation : a pilot study for young adults with motordisabilities. In The proceedings of the 13th international ACMSIGACCESS conference on Computers and accessibility (NewYork, NY, USA, 2011), ACM, pp. 319–320. doi:10.1145/2049536.2049627. 2

[NTCP∗13] NOCENT O., TRAFIAL D., CHALENÇON-PIOTINS., BENASSAROU A., KRAJECKI M., BOYER F. C., TAIAR R. :Nouveau système d’analyse 3d pour l’analyse quantifiée de lamarche. In 28e congrès de médecine physique et de ré-adaptation(Reims, France, octobre 2013), Elsevier Masson. 2

[SS11] STONE E., SKUBIC M. : Evaluation of an inexpensivedepth camera for passive in-home fall risk assessment. In 5thInternational Conference on Pervasive Computing Technologiesfor Healthcare (PervasiveHealth) (2011), pp. 71–77. 2

[WRS∗12] WU H.-Y., RUBINSTEIN M., SHIH E., GUTTAGJ. V., DURAND F., FREEMAN W. T. : Eulerian video magni-fication for revealing subtle changes in the world. ACM Trans.Graph.. Vol. 31, Num. 4 (2012), 65. 3

c© REFIG 2015.