Rapport IRL Handnavigator

Rapport IRL

Recon�guration des paramètres d'entrée du périphérique

HandNavigator

Aurélie VIOLETTE

Année 2012

Rapport IRL Handnavigator

Introduction

Structure d'accueil

Le travail présenté ici a été réalisé au sein de l'équipe IMAGINE du laboratoire LJK et de l'INRIA,encadré par Jean-Claude LEON et Jean-Remy CHARDONNET (laboratoire LE2I, Arts et MétiersParis Tech, Chalon sur Saône). Il est intégré au projet de développement du périphérique d'entréeHandNavigator, qui est un prototype destiné à contrôler une main virtuelle pour réaliser des interactionscomplexes dans des mondes virtuels.

Objectifs

La saisie d'objets (préhension) est une tâche complexe, que l'on réalise pourtant de manière naturelle.Le cerveau a besoin de nombreuses informations pour coordonner la saisie, notamment la forme del'objet, et la position et l'orientation de la main dans l'espace. Le touché de chaque doigt est égalementune donnée importante pour la saisie e�ective d'un objet. Ce travail présente une amélioration duHandNavigator, un périphérique immersif pour le contrôle d'une main réaliste dans des environnementsvirtuels. Le but est d'améliorer le dispositif sans transformer prototype, c'est-à-dire uniquement entraitant de manière di�érente les paramètres d'entrées reçus par le logiciel applicatif a�n de proposerdes commandes plus agréables et plus intuitives pour l'utilisateur dans le cadre de la saisie d'objetset de leur déplacement. Nous ne modi�erons donc pas le nombre de degrés de liberté choisi pourle modèle actuel de la main, et nous nous appliquerons à exploiter au mieux le modèle développé.Nous nous appuierons pour cela à la fois sur les tests déjà réalisés sur le prototype, mais égalementsur des études physiologiques de la main humaine, permettant de caractériser son fonctionnement, enparticulier ses synergies de commande, et de déterminer les signes d'une volonté de saisie (dispositiondes doigts). Une étude par EMG (Electro-MyoGraphie) de surface pourra également permettre dejuger du caractère confortable ou non de l'utilisation de la nouvelle commande, en mesurant l'activitémusculaire nécessaire à sa réalisation.

1 Étude de préhension d'un objet

Présentation du prototype

Le prototype utilisé ici est la version 5 du HandNavigator, une photo du prototype se trouve sur laFigure 1 ainsi que la position de la main sur le prototype.

Figure 1 � Prototype V5 du HandNavigator.

Le prototype est divisé en 4 modules indépendants et isolés les un des autres par un matériau amortis-sant. Chaque module permet le contrôle d'un doigt (un pour le pouce situé sur le coté, un pour l'index,

Rapport IRL Handnavigator

un pour le majeur et un pour le contrôle de l'annulaire et de l'auriculaire). Une vue des modules estdisponible sur la Figure 2

Figure 2 � Disposition des modules.

Chaque module se décompose de la manière suivante :� un levier mono-axe permettant la commande de du degré de liberté associé au phalanges extrêmes dudoigts d'un modèle de main virtuelle. La commande e�ectuée est de type tout ou rien et permet decontrôler le déplacement des doigts en vitesse dans les phases d'extension et de �exion. L'activationdu levier vers l'avant permet un mouvement d'extension (commande en vitesse) et vers l'arrièrepermet un mouvement de �exion. La position de repos correspond à un doigt immobile,

� un vibreur de type vibreur de téléphone portable contribuant à la création de la sensation pseudo-haptique lors de la phase de toucher d'un objet lors avec le doigts associé de la main virtuelle. Lavibration émise par les vibreurs permet de restituer à l'utilisateur la sensation de contact physiqued'un doigt avec un objet. Le contact avec un objet désactive les leviers mono-axes, évitant ainsil'interpénétration des doigts virtuels avec l'objet virtuel saisi. Les vibreurs sont actifs lors de lasaisie uniquement, ils ne le sont donc pas lors du lâcher d'un objet.Cette sensation de contact est essentielle car la �exion du doigt pour attraper un objet et le serrages'e�ectue par la même commande (levier vers l'arrière) et la vibration permet à l'utilisateur dedistinguer les deux,

� un capteur de pression de type résistif permettant la génération d'e�orts de compression sur l'objet,conformément au comportement naturel de saisie d'un objet. La génération d'un e�ort au-delà duseuil de sensibilité du capteur désactive les vibreurs, les leviers mono-axes étant déjà inactifs. Pourserrer un objet, il su�t donc de maintenir le levier vers l'arrière. L'intensité de l'e�ort appliqué esttransmise par le capteur et peut donc être utilisée dans une application logicielle.

Une vue d'un module est disponible sur la Figure 3.

Figure 3 � Composition d'un module.

L'utilisateur conserve un doigt toujours en contact avec l'extrémité d'un levier mono-axe : c'est le leviermono-axe qui agit, en particulier avec le capteur de pression, pour les sensations d'e�ort correspondantlors des phases de saisie et de lâcher d'un objet.

Rapport IRL Handnavigator

L'ensemble de la structure s'adapte sur une souris 3D SpaceNavigator (cf Figure 4) qui permet degérer les six degrés de liberté pour déplacer le référentiel de la main.

Figure 4 � Space Navigator

Rapport IRL Handnavigator

Positionnement du problème

La saisie d'un objet est une action très complexe et la classi�cation des di�érentes postures de la maindurant la préhension fait l'objet de nombreuses études. Diverses classi�cations existent, basés sur descritères di�érents. MacKenzie et Iberall [5] ont proposés une synthèses des di�érentes classi�cationsexistantes.Une première classi�cation dans cet ouvrage est celle de Schlesinger qui se base essentiellement sur laforme de l'objet saisi. Les di�érentes postures identi�ées sont indiquées à la Figure 5.

Figure 5 � Classi�cation des postures de la main � Schlesinger- [MacKenzie et al. 1994].

Une alternative à la classi�cation de Schlesinger est celle proposée par Slocum et Pratt (1946) quiréduisent les six catégories dé�nies par Schlesinger en seulement trois :� � grasp � qui est dé�nie par l'action combinée des doigts, qui sont en opposition avec le pouce, etde la paume,

� � pinch � pour laquelle la pulpe de la phalange distale du pouce est en opposition avec la pulpe desphalanges distales des autres doigts,

� � hook � où les doigts sont �échis, le pouce est en opposition mais sans que les doigts ne soient encontact avec la paume.

En 1956, J. Napier [6] a choisit de rajouter dans cette classi�cation l'intention ou "but" de saisie dansla classi�cation, en plus des considérations anatomiques. Il distingue alors deux grandes catégoriesqui sont la préhension de force et la préhension de précision, la première étant divisé en deux autrescatégories selon la position du pouce (voir Figure 6).

Les postures de force sont celles qui font intervenir la paume de la main. En fonction du nombre dedoigts qui participent à la préhension, les postures de précision peuvent être bidigitales, tridigitales,quadridigilates ou prise de précision avec cinq doigts.Nous choisirons cette dernière classi�cation car elle se révèle simple et adaptée à notre cas, car laposition choisie peut être facilement déterminée en fonction de la forme de l'objet et de l'intentiondonnée à l'aide de chaque levier mono-axe (pour le nombre de doigts). Parmi les postures possiblesnous choisissons d'étudier la posture de précision à cinq doigts. Cette préhension présente l'avantagede faire intervenir les cinq doigts et d'être donc facilement détectable (en actionnant les 4 leviers), etd'être possible avec la paramétrisation actuelle de la main virtuelle. De plus, cette préhension présentel'avantage de pouvoir être décomposée en deux sous ensembles de doigts au comportement coordonné :le pouce et les quatre autres qui se comportent de manière similaire (à des coe�cients �xe près pour lesvitesses et les e�orts), ce qui implique que la position et l'e�ort d'un seul doigt permet de déterminer

Rapport IRL Handnavigator

Figure 6 � Classi�cation des postures de la main � Napier - [Napier, 1956].

ceux de tous les autres. C'est cette observation qui peut être utilisée pour mettre en place une synergiede commande.

Con�guration actuelle pour la saisie

Actuellement, chaque doigt, lors de la saisie, est géré séparément selon l'enchaînement suivant : ferme-ture du doigt, collision avec l'objet, serrage de l'objet,déserrage de l'objet puis ouverture du doigt.Chaque doigt a une activité représentée par le chronogramme de la Figure 7.

Figure 7 � Succession de phases lors de la saisie et du déserrage d'un objet.

La fermeture du doigt est réalisé par un contrôle en vitesse du levier mono-axe jusqu'au contact. Lorsquele doigt virtuel entre en collision avec un objet, le capteur de pression permet de connaître l'e�ort four-nit par le doigt sur l'objet. Le retour du levier mono-axe en position de repos signi�e l'arrêt de l'e�ort

Rapport IRL Handnavigator

de serrage (toujours contact, mais pas de force appliquée). Le levier mono-axe doit être enclenché versl'avant pour déserrer l'objet et on retrouve un contrôle en vitesse comme lors de la fermeture des doigts.

Dans le cas que nous étudions ici, c'est-à-dire la préhension précise à cinq doigts, l'ensemble des leviersmono-axes doivent être activés de manière similaire au schéma précédent. Lors de la phase de fermeture,cela oblige l'utilisateur à se positionner dans une con�guration inconfortable, où il doit maintenir lebout de ses doigts courbés (cf Figure 8 )

Figure 8 � Position de crispation

Cette position, en plus d'être inconfortable reste peu naturelle, et conduit à un comportement éloi-gné de celui qu'une personne aurait lors d'une saisie réelle. En e�et, en saisissant un objet, les doigtsadoptent une position qui épouse la forme de l'objet, permettant d'appliquer les forces adéquates. Lesforces de chaque doigt sont coordonnées entre elles, et notamment celles des autres doigts sont opposéesà celle du pouce. Les forces de serrage sont donc mal traduites.De plus, une fois l'objet saisit, l'utilisateur doit maintenir une position crispée sur le prototype s'il veutmaintenir l'e�ort de serrage. Cette position implique des contraintes physiques sur le prototype quipeuvent conduire à des mouvements parasites au niveau du SpaceNavigator (notamment des transla-tion vers le bas et des rotations) du fait des co-contractions musculaires requises pour réaliser des deuxfonctions (voir le résumé des tests EMG des prototypes [2])Cela s'avère d'autant plus problématique quand l'objet doit être déplacé (di�culté de manier le Spa-ceNavigator).

Proposition de solution

Le but ici est de proposer une commande alternative, qui soit plus confortable et qui apporte uncomportement plus proche du réel. Nous étudions en particulier le mouvement de préhension préciseà cinq doigts d'une grosse sphère. Nous supposerons que la main virtuelle est placée près de l'objet àsaisir en position préparée, c'est-à-dire avec les doigts à relative équidistance de l'objet à saisir. Ceshypothèses sont validées par le fait que lors de l'intention de saisie nous "préparons" notre main pourqu'elle soit proche de la forme à saisir, notre hypothèse revient juste à supposer que cette étape estdéjà faite.(cf Figure 9)

Pour pouvoir comparer notre solution avec la commande actuelle, nous utiliserons la même décompo-sition : fermeture des doigts, collisions avec l'objet, serrage, déserrage et ouverture des doigts.Nous avons choisit de ramener la commande uniquement sur le module du pouce dans la suite del'étude car cela nous a paru le meilleur choix vis-à-vis de la position du module (on maintient plusfacilement le levier du pouce car il est sur le côté). Cependant, a�n de s'adapter à tous les utilisateurs,les résultats présentés ici sont généralisables en utilisant l'un des trois autres leviers.Ce choix se justi�e par le fait que comme vu précédemment, la position des autres doigts peut sedéduire de celle d'un seul (selon le type de saisie) et la force appliquée au niveau d'un doigt permet dedéterminer celle des autres doigts.

Rapport IRL Handnavigator

Figure 9 � Position d'approche

Fermeture des doigts

Le but ici est de détecter l'intention de saisie d'un objet. Nous allons, dans un premier temps, le détec-ter de manière grossière mais ce choix pourra être ra�né dans des études suivantes. Nous considéronsque lorsqu'on est proche de l'objet (typiquement si la fermeture des doigts implique le contact) etque l'utilisateur actionne l'ensemble des leviers mono-axes en arrière, c'est qu'il a l'intention de saisirl'objet avec l'ensemble de ses doigts.Un signal visuel est alors envoyé pour signaler que le logiciel a reconnu l'intention de saisie. L'utilisa-teur peut alors contrôler l'ensemble des doigts uniquement à l'aide du module du pouce, ou dans uncas général avec n'importe lequel des levier mono-axes, les informations étant alors extrapolées pourcoordonner l'ensemble des doigts.Tout signal reçu au niveau du pouce sera dupliqué au niveau des autres doigts, et les données desautres leviers mono-axes ne seront pas traités. La vitesse du pouce et des autres doigts suivent alorsune évolution identique (voir Figure 10).

1 signi�e que le levier est enclenché vers l'arrière, * signi�e une valeur quelconque

Figure 10 � Équivalence des commandes sur la fermeture des doigts.

Collision avec un objet

Lorsqu'un doigt entre en collision avec un objet, sa vitesse passe à zéro et le vibreur du module associévibre. Il ignore alors la commande envoyée par le module du pouce et garde une vitesse nulle. Lorsquel'ensemble des doigts est en contact, l'objet est considéré comme saisi (car on se place dans le cadred'une saisie à cinq doigts). On passe alors à une étape de serrage.

Rapport IRL Handnavigator

Le levier monoaxe du pouce est enclenché vers l'arrière durant tout le schéma.

Figure 11 � Évolution de la vitesse des doigts lors de la saisie.

Serrage de l'objet

Une fois l'objet saisi, nous allons continuer de ramener les informations de l'ensemble des doigts à celledu pouce (la généralisation à un levier quelconque étant toujours possible). Comme vu précédemmentlors de la préhension de précision à cinq doigts, la force appliquée par le pouce est opposée à lasomme des forces des autres doigts. Nous allons utiliser comme hypothèse simpli�catrice que cettesomme de forces est équitablement répartie entre chaque doigt. Cette hypothèse très grossière pourraêtre facilement ra�née par la suite en appliquant des coe�cients pour répartir les forces (l'indexpar exemple déploie une force plus grande que l'auriculaire). La détermination de ces coe�cients sefera à l'aide d'une étude physiologique. On peut trouver des premières indications dans les étudesphysiologiques de Zong-Ming Li, M.L. Latash et V.M. Zatsiorsky [4].L'e�ort envoyé par le module du pouce est donc dupliqué pour les autres doigts, et nous obtenons ainsil'e�ort sur chaque doigt.

Déserrage de l'objet

Lorsque l'utilisateur ramène la position du levier mono-axe du pouce au repos, l'objet cesse d'être ceci,et plus aucune force n'est appliquée.

Ouverture des doigts Comme lors de la fermeture des doigts, l'information envoyée par le moduledu pouce est dupliqué sur les autres doigts pour les ouvrir. Lorsque plus aucun doigt n'est en contactavec l'objet, les doigts retrouvent leur indépendance et on rebascule sur une commande normale.

Perspectives

L'étude présentée ici a nécessité de nombreuses hypothèses simpli�catrices et peut être ra�née. Voiciles pistes possibles. Tout d'abord l'étude faite ici peut être généralisée à plusieurs types de saisies.L'identi�cation du type de saisie pourra être faite dans un premier temps sur la forme de l'objet àsaisir, puis sur la position de la main adoptée à l'approche de l'objet. La thèse de Mme Savascu [7]permet une première classi�cation de nombreuses postures de préhension.L'intention de saisie peut également être déterminée de manière plus précise. Une piste intéressante se

Rapport IRL Handnavigator

Le levier monoaxe du pouce est enclenché vers l'arrière durant tout le schéma

Figure 12 � Évolution de l'e�ort lors de la saisie d'un objet.

trouve dans les travaux de M. Carrasco et X. Clady [1] qui relient la vue à l'intention de préhension.La position de la caméra par rapport à l'objet sera alors une donnée importante à traiter.L'utilisation possible de l'application dans un environnement gérant la physique nous oblige à ré�échirà une meilleure évaluation des forces appliquées par chaque doigt. En e�et, dans ce cadre, la force dechaque doigt devient importante car on peut éventuellement tordre, faire tourner ou bien déformer unobjet. Il devient alors nécessaire de mieux connaître la répartition des forces. Une étude physiologiquede la main devient alors nécessaire. Le document cité précédemment [4] donne de bonnes pistes dedépart, et permet de commencer à avoir une idée des coe�cients à appliquer pour répartir la forcetotale sur chaque doigt. On pourra également choisir de découpler les e�orts dans le cadre de saisiesd'objets complexes où les forces peuvent se révéler très di�érentes.Une dernière amélioration possible porte sur la cinématique d'ouverture et de fermeture des doigts.Pour l'instant nous avons supposé l'évolution de la vitesse identique pour chaque doigt. Cette hypothèsedevient obsolète lorsqu'on se place dans des prises d'objets complexes ou dissymétriques. Il devientalors nécessaire de mieux étudier d'un point de vue physiologique la cinématique de la main. Une bonnepiste sera d'utiliser des gants de données pour acquérir ce genre d'information, comme le CyberGlove R©.Une étude des postures de la main lors de la préhension a été réalisée par l'équipe de Kamper [3] àl'aide de cet outil.

Remerciement

Remerciement à Jean-Claude LEON, Jean-Remy CHARDONNET, Franck QUAINE pour leur patienceet le temps qu'ils m'ont accordés.

Rapport IRL Handnavigator

Références

[1] M. Carrasco and X. Clady. Utilisation de la coordination oeil-main pour la prédiction d'un gestede préhension.

[2] J.R. Chardonnet, L. Jean-Claude, et al. Un périphérique pour la saisie réaliste d'objets avec retourtactile. 2010.

[3] D.G. Kamper, E.G. Cruz, and M.P. Siegel. Stereotypical �ngertip trajectories during grasp. Journalof Neurophysiology, 90(6) :3702�3710, 2003.

[4] Z.M. Li, ML Latash, and VM Zatsiorsky. Force sharing among �ngers as a model of the redundancyproblem. Experimental Brain Research, 119(3) :276�286, 1998.

[5] C.L. MacKenzie and T. Iberall. The grasping hand, volume 104. North Holland, 1994.

[6] J.R. Napier. The prehensile movements of the human hand. Journal of bone and joint surgery,38(4) :902�913, 1956.

[7] M.S.S.A. Violeta. Analyse et modélisation du mouvement de préhension. PhD thesis, UNIVERSITECLAUDE BERNARD-LYON, 2010.