Les Interfaces Haptiques - bikinis.u-strasbg.frbikinis.u-strasbg.fr/site/Enseignement/ISI/haptique-6pp.pdf · Seuil absolu de détection d'un contact : 63 mg ! ... • (alors que

1

Les Interfaces Haptiques

2

pdf de ces transparents disponibles sur :

http://dpt-info.u-strasbg.fr/~essert

rubrique Enseignement>Matières>ISI

Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012

3

1.  Définition, différentes interfaces

2.  Concepts mis en jeu

3.  Libs, développement haptique

4.  Les applications

5.  La recherche

6.  démo

En bref…

Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 4

Interfaces haptiques

•  Définition (wikipedia) :

Ø  L’haptique désigne la science du toucher, par analogie avec acoustique ou optique (provient du grec "haptomai" qui signifie "je touche"). Au sens strict, l’haptique englobe :

•  les phénomènes kinesthésiques, i.e. la perception du corps dans l’environnement

•  le toucher


5

Interfaces haptiques

•  2 grandes familles d'interfaces haptiques :

Ø  les interfaces à retour d’effort (ou interfaces kinesthésiques) : permettent de ressentir la position et les mouvements, les forces exercées (collisions, poids, viscosité) à l’aide de capteurs proprioceptifs situés dans les muscles et les tendons

Ø  les interfaces tactiles : permettent de ressentir la forme, la texture ou la température des objets à l’aide de différents types de capteurs situés au niveau de la peau


Interfaces tactiles

Ø  Dans la suite du cours, on parlera principalement des interfaces à retour d'effort

Tactile mouse (NISE, Japon)

Band-aid size tactile display (Univ. Of Nevada)

Tactile display (Forschungzentrum Karlsruhe)


2

7

Interfaces à retour d'effort •  Bras articulés

Ø  1 ou 3 bras partent du support

Ø  Au bout : un effecteur (objet manipulé : stylet, ou autre)

Ø  Des moteurs contrôlent les articulations

Ø  Différentes tailles, degrés de liberté

Virtuose (Haption)

Phantom (Sensable)

Falcon (Novint)

Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 8 Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012

Interfaces à retour d'effort •  Fils motorisés

Ø  L'effecteur est relié en un ou plusieurs points à des fils (jusqu'à 4 fils par point)

Ø  Les fils se dirigent vers des poulies situés aux coins du cube extérieur

Ø  Les fils sont reliés à des moteurs d'enroulement

Ø  Différentes tailles, degrés de liberté

Inca (Haption)

Spidar (Sato-Koike group, Tokyo Institute of Technology)

9

Interfaces à retour d'effort •  Autres

Ø  Magnétique

Ø  Vibrant (téléphones, wiimote,…)

Ø  Dédiés (chirurgie,...)

Ø  Exosquelettes

Ø  etc.

•  Vidéo 1 : MagLev

•  Vidéo 2 : Samsung Anycall Haptic phone

MagLev et MagLev wrist (Carnegie Mellon)

Laparoscopic Impulse Engine (Immersion corp.)

PERCRO (Sant'Anna) Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 10

Interfaces à retour d'effort •  Périphérique :

Ø  Absolu •  La localisation de l'effecteur est donnée en absolu par

rapport à l'espace de travail •  (≠ relatif où l'on travaille avec des déplacements, ex.

souris)

Ø  Indirect en ce qui concerne le visuel •  On agit sur l'effecteur, l'écran peut être à côté (exception

pour les téléphones…) •  Mais il est possible de se rapprocher du direct avec des

systèmes spéciaux (systèmes fish tank)

Ø  Direct en ce qui concerne le rendu haptique •  On agit sur les objets directement à l'endroit où ils sont

rendus haptiquement

Ø  "World-grounded" (ex. Phantom) ou "body-grounded" (ex. exosquelettes)

•  peut / ne peut pas contraindre une position en absolu

Fish tank system

University of Louisiana Lafayette


11

Interfaces à retour d'effort •  2 fonctions principales :

Ø  Capture du mouvement, de la position •  Utilisation comme périphérique d'entrée

Ø  Restitution de forces •  Utilisation comme périphérique de sortie

HUMAIN MACHINE

mouvement

forces de contact

info tactile et kinesthésique

commande motrice

mouvement info de position

commandes torques forces

muscles

capteurs moteurs

capteurs

D'après C. Basdogan Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 12

Retour d'effort : degrés de liberté (dof)

•  Les degrés de liberté (ddl ou dof) : Ø  Nombre de transformations géométriques

indépendantes possibles avec le matériel

Ø  Pour chaque matériel, le nombre de dof peut être différent en entrée ou en sortie


3

13


•  2 catégories principales : Ø  3 dof

•  Retour d'effort sur les 3 translations uniquement •  En un point (généralement, l'extrémité de l'effecteur)

Ø  6 dof •  Retour d'effort sur les 3 translations et 3 rotations •  Sur tout l'effecteur

•  Sur un système à fils •  degrés de libertés fonction du nombre de points rattachés

•  Sur d'autres types de matériels spécifiques Ø  7ème degré de liberté

Ø  Par ex. pinces, ciseaux, etc.



•  Exemple : Phantom 3dof, Phantom 6dof

Phantom Omni 3dof : - 6 dof en entrée (translations + rotations) - 3 dof en sortie (translations)

Phantom Premium 1.5 6dof : - 6 dof en entrée (translations + rotations) - 6 dof en sortie (translations + rotations) à Plus de moteurs


15


•  4 points rattachés par 2 fils, ou 2 points rattachés par 4 fils Ø  6dof

Spidar



•  4 fils : Ø  6 dof

Ø  Ou bien 2 effecteurs 3dof

•  Autrement dit : Ø  1 objet, 2 ou 4 points

Ø  2 objets, 1 point chacun

Rehabilitation to hand movement

application


17


•  Problème : limite des dof pour les fils motorisés Ø  Rattachement aux fils limite la rotation

Ø  Intersection fils ↔ effecteur si angle trop important

Ø  Intersection de fils entre eux

•  Idem dans le cas de 2 effecteurs



•  Problème : limite des dof pour les bras articulés Ø  Débattement des bras limité en rotation

Ø  Impossible de faire des rotations complètes d'objets

•  Nécessité de pallier ces limites (quel que soit le système) Ø  Par l'utilisation du périphérique en relatif au lieu d'absolu (à l'aide

d'un bouton par ex.)

Ø  Par l'utilisation de métaphores d'interaction adaptées

Dominjon et al. 2006


4

19

Retour d'effort : espace de travail

•  Espace de travail Ø  Espace atteignable

•  Ensemble des points que l'on peut atteindre avec l'effecteur

Ø  Espace haptique •  Ensemble des points dans lesquels le système est capable de

produire une force

•  Souvent à peu près identiques pour les bras articulés

•  Différents pour les fils motorisés


Retour d'effort : espace de travail

•  Espace de travail pour bras articulés : ça dépend

•  Exemples : Ø  Phantom Desktop 3D (Sensable) : à peu près

rectangulaire •  160 W x 120 H x 120 D mm.

Ø  Virtuose 6D Desktop •  Sphère de 120 mm en translation

•  35° dans chaque direction au centre de la sphère

Ø  Virtuose 6D35-45 (Haption) •  Volume comprenant un cube de 45cm de

côté dans lequel les performances en effort sont garanties


21

Retour d'effort : espace de travail •  Problème : espace de travail pour fils motorisés 3dof

Ø  Espace atteignable cubique

Ø  Espace haptique tétraédrique •  Si la position est en dehors ou sur une face du tétraèdre,

aucune force ne peut être appliquée vers l'extérieur de cette face

ex. avec moteurs situés en 2, 4, 5 et 7


Retour d'effort : autres paramètres matériels

•  En plus de l'espace de travail et des dof : Ø  Puissance max des forces

Ø  Sensibilité, précision

Ø  Compensation des forces

Ø  …

•  Différents selon les modèles


23

Concepts : perception

•  Perception Ø  Physiologique

•  Caractéristiques des capteurs humains

Ø  Psychologique •  Interprétation des sensations captées

•  Conception et évaluation des interfaces Ø  Prise en compte des facteurs de perception


Caractéristiques physiologiques

•  Fréquences de fonctionnement Ø  Sens tactile

•  F comprise entre 1 et 300 Hz, et jusqu'à 1 kHz (perception des textures fines)

Ø  Sens kinesthésique •  F comprise entre 20 et 30 Hz (perception des forces)

•  Seuils de perception Ø  Seuil absolu de détection d'un contact : 63 mg Ø  Seuil relatif de discrimination de la raideur (JND) : 22%

source : A. Lecuyer


5

25

Illusions sensorielles •  Illusions d'optique bien connues

•  Ex: illusion de Müller-Lyer, illusion de Bourdon

•  Autre illusion


Illusions haptiques •  Illusions :

Ø  Le corps perçoit les informations, éventuellement contradictoires

Ø  Le cerveau fait une erreur d'interprétation

•  Illusions haptiques : Ø  Müller-Lyer et Bourdon également haptiques Ø  Thermiques : illusion de Thaler

Ø  Raideur : •  Effet de perspective [Wu 99] •  Effet d'anisotropie [Hogan 90]

•  Peuvent être exploitées dans les interfaces haptiques Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012

27

Concepts

•  Couplage visuo-haptique Ø  Environnements virtuels de plus en plus multimodaux (ex.

visuel + haptique)

Ø  Les informations peuvent être réparties sur les différents modes de rendu

Ø  Certains manques des interfaces haptiques peuvent être compensés


Perception en haptique

•  Sensibilité de perception : Ø  Faible sensibilité à la justesse d'une position 3D

Ø  Bonne sensibilité au changement de magnitude de la force

Ø  Forte sensibilité au changement d'orientation de la force


Perception en haptique

•  Difficultés de perception haptique Ø  Visuel

•  localisation p/r cadre de référence incluant les objets extérieurs

•  référence allocentrée (ou exocentrée)

Ø  Haptique •  peu de connaissance sur les objets extérieurs,

•  référence égocentrée (par rapport à son propre corps)

29 Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 30

Principales utilisations de l'haptique

•  En 1999, Miller et Zeleznik identifient 4 utilisations possibles du retour haptique pour l'interaction : Ø  Anticipation : indication de l'imminence d'un événement

Ø  Suivi : indication qu'une action est en cours

Ø  Accomplissement : indication qu'un événement d'est produit

Ø  Guidage : contrainte du geste de l'utilisateur


6

31

Principales utilisations de l'haptique

•  Toujours en 1999, Bowman distingue 4 tâches possibles en environnement virtuel Ø  Contrôle d'application

Ø  Sélection d'objet

Ø  Manipulation d'objet

Ø  Navigation

•  Ces 4 tâches peuvent également bénéficier de l'haptique


Principales utilisations de l'haptique •  En pratique, utilisation de l'haptique pour :

•  Simulations de sensations réalistes Ø  Interactions avec des objets, des milieux (sculpture, découpage,

palpation, etc.)

•  Autres tâches en RV Ø  Contrôle d'applications

Ø  Navigation

Ø  Désignation

Ø  Manipulation

Ø  Visualisation

Ø  Communication


33

Simulation de sensations réalistes : Que veut-on sentir ?

•  Un objet Ø  Un peu comme pour la visualisation : différents

niveaux •  La forme d'un objet

–  Découverte par tâtonnement, aide à la représentation mentale globale de l'objet

•  Les aspérités, la texture –  Rainures, bosses

•  Le matériau –  Rugosité, viscosité, élasticité

Ø  Eventuellement le poids


Sentir un objet


35


•  Un milieu, un effet Ø  Mouvement réaliste dans un liquide, un gaz

Ø  Mouvement dans un champ magnétique, attraction

Ø  Gravité

Ø  Inertie

Ø  Etc.



•  Des réactions Ø  Collisions d'objets, contacts

Ø  Déformations

Ø  Interactions entre objets : glissements, mouvements contraints (ex: coulissement)


7

37

Problèmes à résoudre •  Contacts avec un objet :

Ø  Détection des collisions

Ø  Réponse à la collision •  Contact, répulsion, glissement,

frottement, déformation, etc.

•  Mouvement d'un pointeur ou objet dans un milieu : Ø  Réponse du milieu

•  Viscosité, attractions, force ambiante constante, etc.


Développement haptique

•  Librairies haut niveau Ø  Utilisent par exemple une duplication des appels

opengl, et des propriétés d'objets

Ø  Ex. Ghost ou Openhaptics (Sensable), ReachInAPI (ReachIn)

•  Librairies bas niveau Ø  Calcul des forces et couples (torques), envoi des

forces au matériel


39

Développement haptique •  Notion de "boucle haptique"

Ø  Les forces sont mises à jour en fonction des mouvements

•  Contrainte : Ø  Fréquence de rafraîchissement ≥ 1 kHz

•  (alors que le rafraîchissement écran n'est que ≈ 60Hz max)

•  Les forces peuvent simuler : Ø  Contact,

Ø  Rugosité (friction),

Ø  Viscosité,

Ø  etc.

Ø  à Soit par modification des paramètres (librairies haut niveau) soit par calcul des forces et des positions d'affichage, et envoi au matériel (librairies bas niveau)


Approche "Surface contact point" •  Notion de "proxy" (ou "god object")

•  La force ( ) est calculée en fonction de : Ø  La distance entre la surface et la position physique ( )

Ø  La raideur (k)

•  Elle est normale à la surface

xΔ

xkFn

Δ= .

nF

Surface

Ancienne position

Nouvelle position (position physique)

Point de proximité avec la surface (proxy)

Raideur (k) xΔ

Outil

nF

Point de collision


41

Approche "Surface contact point"

•  Importance de l'historique de position du point de contact

1F

Surface

2F

3F

3F

Outil


Objets polyédriques •  Nécessité d'utiliser un algorithme de détection de

collisions

•  Très nombreux polygones Ø  Optimisations, par ex. par subdivisions spatiales ou

hiérarchies de volumes englobants

Ø  Ex : bounding boxes, octrees, etc.


8

43

Déformations •  Les surfaces peuvent être déformées :

Ø  A l'intérieur d'une zone d'influence (taille)

Ø  Selon une fonction de déformation (amplitude)

•  Plus un point est loin du proxy, moins il est déformé

•  Modèle "masse-ressort"

Objet dur Objet mou


Adoucissement des arêtes

•  Comme pour le visuel, lissage : Ø  La force est calculée par rapport à la normale

Ø  Modification de la normale aux arêtes

•  Permet de ne pas (trop) ressentir le passage d'un polygone à l'autre


45

Friction statique •  On ajoute une force de friction ( ) :

Ø  Tangentielle à la surface

Ø  Orientée dans le sens inverse du mouvement

•  La valeur de cette force dépend du coefficient de friction statique de la surface ( )

•  L'outil ne peut bouger que si

tF

sµ

Surface

Déplacement du pointeur

Outil

tF

nF

nst FF.µ>


Viscosité, friction dynamique •  Mouvement d'un objet de masse m dans un milieu visqueux le long

d'une surface ayant une friction dynamique :

•  Comme la masse de l'objet est proche de 0, l'objet atteint rapidement sa vitesse de saturation

•  Cette équation peut être utilisée pour calculer le déplacement maximum de l'objet en un cycle de la boucle

•  b : coefficient de viscosité

•  : coefficient de friction de Coulomb

xbxmFF ndt +=−µ

bFFx ndt µ−

=

dµtF

Surface

Déplacement du pointeur

Outil

nF


47

Amortissement (damper)

•  Force qui s'oppose à la vitesse, de façon linéaire

Ø  C est le coefficient d'amortissement visqueux

•  Aide à la stabilité et à éviter les vibrations

xcFa −=


Inertie •  Force d'intertie d'entraînement :

Ø  m : masse de l'objet

•  Exemple Ø  La force d'inertie s'oppose à l'accélération d'un véhicule

•  Force d'inertie de Coriolis (ou force centrifuge) : Ø  : vitesse de rotation

Ø  R : distance du centre de rotation à l'objet

•  Exemple Ø  Un passager est "poussé" à l'extérieur du virage lorsque celui-ci tourne

xmF −=

RmF 2ω−=ω


9

49

Textures •  Textures en visualisation :

Ø  Réduire l'expression de la géométrie à représenter visuellement

Ø  Objectif : décider la couleur de chaque endroit d'une surface

•  Textures en haptique : Ø  Réduire l'expression de la géométrie à représenter

haptiquement

Ø  Objectif : décider la direction et l'amplitude de la force en chaque endroit d'une surface

Ø  Mapping d'un champ de hauteurs sur la surface Ø  Approche dérivée du bump mapping


Modélisation biomécanique avec rendu haptique

•  Analyse par éléments finis Ø  discrétisation : décomposition du volume en un

nombre fini d’éléments

Ø  application des équations sur chaque élément

•  Systèmes masse-ressort Ø  chaque élément possède une masse et est lié à son

voisin par un ressort élastique

•  Calculs longs mais Ø  accélération par pré-calculs

Ø  limitation des régions d’intérêt (par ex. octree)

INRIA Sophia / Asclepios


51

Modélisation biomécanique avec rendu haptique

•  Exemple : résection hépatique (video)

INRIA Sophia / Asclepios


Systèmes masse-ressort •  En 2D :

Ø  Système : •  n éléments de masses mi et de position xi pour 1 ≤ i ≤ n •  (n-1) ressorts

Ø  Chaque élément i est connecté par deux ressorts : •  i-1 ó i •  i ó i+1

Ø  Chaque ressort •  relie les éléments ei et ej de masses mi et mj

•  possède une raideur kij >0 •  possède une longueur au repos lij

•  Calcul des forces en 3D : Ø  soit Fi les forces externes appliquées à ei

Ø  équation du mouvement de ei (somme des forces qui s’exercent sur i) :

Ø  on obtient les accélérations, donc les vitesses (intégration) et les positions (intégration) Ø  boucle de calculs

e1 (m1)

e2 (m2)

e3 (m3)

k12 k23

∑ +−−ij iijjiij Flxxk à relié

)(


53

Exemples

•  Video1 : University of British Columbia Ø  Insertion d'aiguille dans un milieu mou

•  Video2 : SOFA framework Ø  Simulation d'opération "Diabetic traction vitrectomy

simulation"

University of British Columbia


La recherche en haptique

•  Les techniques d'interaction haptique ont déjà été assez bien établies pour Ø  les milieux

Ø  les objets polyédriques

Ø  les surfaces implicites

•  Beaucoup d'applications ont déjà été développées


10

55

La recherche en haptique

•  Types d'objets Ø  Par ex., peu de résultats sur le rendu haptique 6dof des

surfaces nurbs et des surfaces de subdivision

•  Utilisations Ø  Pour l'instant, surtout rendu haptique réaliste (simulations)

Ø  Moins de résultats sur l'utilisation à des fins d'aide haptique, de contrôle d'applications, sans objectif réaliste

•  ex: menus haptiques, aide à la sélection en environnement dense, matérialisation de propriétés ou de valeurs par l'haptique, etc.


La recherche en haptique •  Menus haptiques

Ø  Souvent 2D transposée •  Komerska et Ware, 2004

Ø  Menu 3D haptique •  Essert et Capobianco, 2009


57

Outrepasser les limites du matériel •  Exploitation des illusions haptiques :

Ø  Faire sentir des dof qui n'existent pas •  Blocage visuel fait "ressentir" un blocage haptique qui n'existe

pas

Ø  Modifier artificiellement les propriétés d'un objet •  Altération du ratio C/D (Control/Display)

•  Exemples : –  friction/glissement à le pointeur se déplace moins (/plus) vite sur

la surface à l'écran que l'effecteur –  rigidité (stiffness), souplesse à déformation moins (/plus)

importante de l'objet visuel par rapport au mouvement de l'effecteur

–  masse à objet paraît plus lourd (/léger) si son mouvement visuel en direction du haut est ralenti (/accéléré) par rapport au mouvement de l'effecteur


Outrepasser les limites du matériel

•  Moteurs : limites techniques des forces Ø  Instabilité si résistance limite (oscillations, vibrations)

Ø  Objets "durs" difficiles à simuler

•  Introduction d'amortissement dans les contacts "durs" Ø  Limiter les instabilités

Ø  Améliorer la sensation de rigidité


59


•  Pallier la petite taille de l'espace de travail Ø  Éviter que des objets soient hors d'atteinte

•  Artifices logiciels de focalisation

•  Effecteur "ramené" en position centrale de façon imperceptible

•  Etc.

•  Pallier le faible débattement des effecteurs Ø  Éviter de devoir "ramer" avec l'effecteur

Ø  Trouver des métaphores d'interaction qui compensent



•  Exemples de métaphores d'interaction : Ø  Haptic hybrid rotations (L. Dominjon et al. 2006)

Ø  Technique "Bubble" •  (L. Dominjon et al. 2005) : video à


11

61

Applications •  CAO

Ø  Simulation d'emboîtements, coulissements de pièces, entraînements de mécanismes, faisabilité de conception

•  Ergonomie Ø  Simulation d'ergonomie par modélisation d'environnement de

travail, avec poids des objets simulé

•  Interaction avec des écoulements, simulations physiques, biomécaniques Ø  Mécanique des fluides, FEM, …

•  Docking moléculaire

•  Contrôle distant Ø  Contrôle d'applications distantes, travail collaboratif,

manipulation de robots

•  Simulateurs Ø  Aéronautique, automobile, sous-marin, chirurgie, etc.

•  Divertissement

•  etc.

LIMSI

I3D/INRIA Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 62

Applications dans le domaine médical •  Domaines :

Ø  simulation réaliste de gestes médicaux et chirurgicaux •  intubation, ponctions, péridurale, arthroscopie,

bronchoscopie, laparoscopie, différents types de chirurgie ouverte,…

Ø  assistance pour les opérations chirurgicales •  manipulation de robots à distance avec retour d'effort

Ø  réhabilitation musculaire •  périphériques spécifiques

•  Comme périphérique d'interaction optionnel dans diverses appli RV (meilleur sentiment d'immersion) Ø  diagnostic et thérapies comportementales

•  phobies, troubles post-traumatiques,…

Ø  entraînement de médecins de conflits •  mise en situation de stress


63

Applications dans le domaine médical

•  matériels : Ø  du plus courant (casque, manette)

Ø  au plus perfectionné et spécifique (virtual surgery table, dispositifs haptiques ad-hoc)

Barco

DKFZ Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 64

Simulation réelle / réalité virtuelle : pourquoi la RV ?

•  Exemple dans le médical : •  Simulation réelle :

Ø  entraînements sur mannequins, cadavres, ou animaux

Ø  inconvénients : •  beaucoup de différences avec un patient

vivant •  manque de réactivité •  pas/peu de paramétrisation possible •  coût, éthique

•  Simulation en réalité virtuelle : Ø  on peut simuler l’anatomie, la

biomécanique, la physiologie, les réactions du corps

Ø  on peut paramétrer des pathologies standards, « cas d’école », ou cas rares pour l’apprentissage

Ø  on peut recommencer à l’infini

3B Scientific Laerdal medical

State University of New York / Buffalo

The surgical simulation laboratory Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012

65

Exemples

Center for Advanced Medical Simulation Karolinska University Hospital.


Simulation réelle / réalité virtuelle : pourquoi l'haptique ?

•  Évidemment : Ø  Pour apporter du réalisme tactile à la simulation

•  Mais aussi : Ø  Pour apporter une aide autre que visuelle pour :

•  la sélection •  la navigation •  la perception •  la matérialisation d'informations (décharger le canal visuel)

•  Ou encore : Ø  Sans haptique, pour avoir un périphérique de localisation

mieux adapté à la 3D que la souris


12

67

Partie pratique…

•  Démos •  Comment ça marche ? •  Comment on l'utilise / on développe ?

Ø On jette un œil au code…


Documents

Les Interfaces Haptiques - bikinis.u-strasbg.frbikinis.u-strasbg.fr/site/Enseignement/ISI/haptique-6pp.pdf · Seuil absolu de détection d'un contact : 63 mg ! ... • (alors que