Slim Azzi31 janvier 2012Soutenance de thèse Couplage visuo-haptique en environnement de conduite simulée Soutenance de thèse Jury Pr. Philippe Fuchs, Centre

Slim Azzi 31 janvier 2012 Soutenance de thèse

Couplage visuo-haptique en environnement de conduite simuléeSoutenance de thèse

Jury

Pr. Philippe Fuchs, Centre Robotique Pr. Stéphane Espié, IFSTTARPr. Jean-Christophe Popieul, LAMIHPr. Andras Kemeny, Renault CTS, Le2i Pr. Frédéric Mérienne, Le2iDr. Franck Mars, IRCCyN

2Slim Azzi 31 janvier 2012 Soutenance de thèse

Contexte

Thèse CIFRE : Renault, Centre Technique de Simulation (CTS)

Ces travaux s’inscrivent dans différents projets de recherche, européens et nationaux

Besoin de préserver au mieux la validité écologique de notre étude

Les modalités visuelle et haptique du conducteur sont sollicitées lors d’une tâche de conduite

Dans la panoplie des systèmes d’aide à la conduite, les interfaces visuelles sont omniprésentes, tandis que les interfaces haptiques sont sous-utilisées (excepté le retour d’effort volant)


Problématiques

Problématiques scientifiques Pondération et intégration des modalités visuelle et haptique en conduite

Détection consciente et inconsciente des perturbations visuo-haptiques

Mécanismes d’adaptation du système sensorimoteur aux perturbations visuo-haptiques

Problématiques industrielles Délais visuels dans les assemblages virtuels

Pertinence de la modalité haptique pour l’assistance à l’éco-conduite

Gestion du retour d’effort dans la démultiplication de la direction du véhicule


Plan

Bibliographie

Expérimentation 1 : assemblage virtuel

Expérimentation 2 : assistance à l’éco-conduite

Expérimentation 3 : démultiplication de la direction

Synthèse


Bibliographie


Modalité visuelle

Perception visuelle Cristallin

Rétine

Nerf optique

Corps genouillé

Cortex visuel

Interprétation de la profondeur Convergence et accommodation (distances courtes < 3m)

Disparité binoculaire (distances moyennes)

Perspective (distances longues)

Parallaxe


Modalité haptique

Perception haptique Récepteurs cutanés

Corpuscules de Paccini, Ruffini, Meissner, Merkel

Récepteurs musculaires et articulaires Sensibilité à la position (fuseaux neuromusculaires, récepteurs capsulaires de

Ruffini)

Sensibilité au mouvement

Sensibilité à la force (organes de Golgi)

Toucher actif Exploration haptico-proprioceptive des formes

Effet d’oblique Cette anisotropie serait due à l’influence de l'effort gravitationnel qui

s’exerce sur le système épaule-main (Gentaz & Hatwell, 1995, 1996, 1998)


Intégration visuo-haptique

Approche statistique

Plus la variance des estimations d’une modalité (visuelle ou haptique) est grande, plus l’autre modalité pèsera dans l’intégration visuo-haptique des informations (Ernst & Young, 2002)



Evolution dynamique de la pondération des informations visuelles et haptiques en fonction des conditions expérimentales

La précision du toucher resterait inchangée quelle que soit l’orientation de la mesure, tandis que la vision serait plus précise que l’haptique dans le plan frontal, et moins précise pour mesurer la profondeur (Gepshtein & Banks, 2003)

10


Couplage visuo-haptique en conduite

Perception et action des conducteurs

Modèle des interactions sensorimotrices impliquées dans une tâche de conduite (Pick & Cole, 2003)

11


Couplage visuo-haptique en conduite

Stratégies d’adaptation sensorimotrice

Modulation d’impédance Les conducteurs semblent avoir régulièrement recours à la co-contraction des

muscles antagonistes pour raidir les bras lorsqu'ils tournent le volant ou le maintiennent en position (Pick & Cole, 2006, 2007)

Modèles internes

Grâce à l’apprentissage, le modèle interne du fonctionnement du véhicule permet de prédire les commandes motrices pour suivre la trajectoire désirée

Combinaison de stratégies Lorsqu’une perturbation du système sensorimoteur intervient, la stratégie

d’adaptation par modulation d’impédance est privilégiée. La mise à jour du modèle de l’environnement permet un retour progressif à la stratégie des modèles internes (Morasso & Sanguinetti, 2003 ; Gribble & al, 2003)

12


Expérimentation 1 : assemblage virtuel

13


Problématiques

Evaluer un seuil de tolérance pour les délais visuels dans les tâches d’assemblage virtuel

Comprendre les mécanismes qui tendent à compenser les désynchronisations visuo-haptiques

Cerner les limites d’adaptation du système visuo-haptique aux délais visuels

14


Contexte

Démonstrateur iVIMA Bras à retour d’effort 6D Virtuose

Grand écran bi-stéréoscopique Barco

Le calcul en temps réel des 4 images qui composent la vision bi-stéréoscopique du démonstrateur IViMA Temps de calcul important

Besoin de connaitre le seuil de gêne sur les délais visuels

15


Bibliographie

Introduction d’un délai visuel ou haptique entraine une dégradation de la performance de pointage (Ferrell & al, 1963, 1966 ; Jergle & al, 2006)

Introduction délai visuo-haptique Domination perceptive de la modalité qui est la plus sollicitée par la tâche réalisée

Tâche basique de pointage : domination visuelle (Jay & Hubbold, 2004)

Tâche complexe de télé-chirurgie : domination haptique (Ottensmeyer & al, 2000)

16


Protocole

5 participants 3 sujets masculins et 2 sujets féminins

Tâche Déplacer et orienter le cube pour réaliser l’assemblage demandé

Essais Phase d’entrainement sans délais (Condition référence : 10 essais) Phase expérimentale avec délais (Conditions aléatoires : 10 conditions x 10 essais)

Stimuli 10 délais visuels entre 0 et 500 ms, avec un pas de 50 ms Présentation des délais aléatoire

17


Dispositif expérimental

18


Résultats

19


Discussion

Pas de dégradation de la performance avant la détection d’une gêne

Adaptation inconsciente au délai visuel Dans une certaine limite, nous pouvons tolérer un délai de

désynchronisation entre deux signaux pendant lequel nous les percevons synchronisés (Vogels, 2004)

Détection consciente de la désynchronisation capture visuelle : le visuel étant retardé, la capture visuelle entraine une dégradation rapide de la performance Seuil délai visuel 250 ms saccades des mouvements de la main

(Vercher & al, 1992)

20


Conclusion et perspectives

Seuil gêne 300 ms pour les délais visuels

Avant ce seuil, adaptation inconsciente au conflit visuo-haptique

pas de dégradation de la performance

Apres ce seuil, domination de la modalité visuelle

dégradation rapide de la performance

Perspectives : impacts sur les performances d’assemblage Impact des gains visuo-haptiques (Lécuyer & al, 2001)

Impact de la co-localisation dans les assemblages virtuels (Jansson & Öström, 2004 ; Swapp & al, 2006)

Impact de la complexité de la tâche d’assemblage Domination visuelle ou haptique

21


Expérimentation 2 : assistance à l’éco-conduite

22


Problématiques

Evaluer l’efficacité des règles basiques d’éco-conduite (sans assistance)

Evaluer et comparer l’efficacité de l’éco-conduite avec les assistance visuelle, haptique et visuo-haptique

Observer le comportement des conducteur lors de la première utilisation d’une pédale à retour d’effort, ce qui pourrait paraitre intrusif dans le contrôle du véhicule

Utiliser des moyens expérimentaux applicables aux véhicules en série

23


Contexte d’éco-conduite Pratique de l’éco-conduite avec des règles simples

Volonté de réduire les émissions polluantes par tous les acteurs du secteur automobile

Assistance visuelle Affichage numérique de la consommation instantanée

Interfaces visuelles d’éco-conduite à changement de couleur

Assistance pédale haptique Nissan : ECO Pedal©

Continental : accelerator force feedback pedal AFFP©

Contexte

24


Bibliographie

Compétition attention visuelle : route / affichages d’aide à la conduite (Recarte & al, 2003 ; Summala & al, 1998)

Suivi de véhicule et limitation de vitesses : la pédale haptique permet une amélioration de la performance et une diminution du workload conducteur (Várhelyi & al, 2004 ; Kuge & al, 2006 ; Mulder & al, 2008)

Les conducteurs utilisent la co-contraction des muscles antagonistes des bras pour contrôler le véhicule (Pick & Cole, 2006, 2007 ; Toffin & al, 2003 ; Abbink & al, 2004)

Malgré leurs différences neuronales et anatomiques, le pied et la main paraissent accomplir leurs fonctions perceptives avec la même facilité (Hajnal & al, 2007)

Un conducteur est capable de réaliser des modifications très rapides de l'impédance du pied, pour s'adapter à la spécificité de la tâche à accomplir (Abbink & al, 2004) Tâche de contrôle en position de la pédale Tâche de contrôle en effort de la pédale

25


Protocole

Tâche Conduire dans un environnement virtuel urbain, le long d’un trajet prédéfini

Pas de trafic sur le parcours

28 participants

(Sn) None : groupe de contrôle

(Sv) Visual : groupe assisté avec interface visuelle

(Sh) Haptic : groupe assisté avec interface haptique

(Svh) Visual-haptic : groupe assisté avec interfaces visuelle et haptique

Conditions T1ref : conduire sans instructions particulières

T2eco-behavior : conduire avec l’instruction de ne pas dépasser 2000 tr/min

T3eco-assistance : identique à T2 + aide d’une assistance à l’éco-conduite

T4eco-behavior : identique à T2

26


Dispositif expérimental

Simulateur CARDS (CTS)

Logiciel simulation SCANeR2©

Cockpit modulaire, instrumenté avec des pièces série

Ecran 150° champ de vision horizontal

Deux dispositifs d’assistance à l’éco-conduite

Une interface visuelle sur la console centrale (jauge)

Une pédale d’accélérateur couplée à un moteur piloté

Ces deux dispositifs fournissent aux conducteurs un retour d’information corrélé à leur niveau d’éco-performance

27


Environnement virtuel

28


Loi d’éco-conduite

Acc_veh = accélération véhicule

Acc_opt = accélération optimale

∆Acc = sur-accélération

Xpedal = position pédale

∆Acc = Acc_veh – Acc_opt

Fadditionnel = K . Xpedal . (∆Acc / Acc_opt)

avec K = facteur raideur pédale

29


Résultats : consignes d’éco-conduite

F(1.88)= 19,87; p<0.001 F(1.88)= 25,85; p<0.001

30


Résultats : comparaison des conditions assistées

T3eco-assistance (Sn vs Sv) F(1.88)= 4,42; p<0.05

T3eco-assistance (Sn vs Sh) F(1.88)= 6,35; p<0.05

T3eco-assistance (Sn vs Svh) F(1.88)= 7,86; p<0.005

T3eco-assistance (Sn vs Sv) F(1.88)= 4,69; p<0.05

T3eco-assistance (Sn vs Sh) F(1.88)= 5,74; p<0.05

T3eco-assistance (Sn vs Svh) F(1.88)= 7,51; p<0.01

31


Résultats : éco-comportement vs éco-assistance

Sv (T2 + T4 vs T3) NS

Sh (T2 + T4 vs T3) F(1.88)= 12,84; p<0.001

Svh (T2 + T4 vs T3) F(1.88)= 14,23; p<0.001

Sv (T2 + T4 vs T3) NS

Sh (T2 + T4 vs T3) F(1.88)= 6,62; p<0.05

Svh (T2 + T4 vs T3) F(1.88)= 9,38; p<0.005

32


Discussion

Contribution des instructions verbales à l’éco-performance Réduction significative des émissions polluantes totales de 5%

Les accélérations des conducteurs se rapprochent de notre modèle d’accélérations optimales

Contribution des systèmes d’aide à l’éco-conduite L’utilisation des systèmes d’aide à l’éco-conduite permet une réduction

supplémentaire de 5 à 7%, en comparaison aux instructions verbales

La stimulation haptique est aussi efficace que la stimulation visuelle en termes de performances d’éco-conduite

Auto-amélioration de l’éco-performance Diminution significative du workload dans les essais assistés par la modalité haptique

Dans le groupe assisté par la modalité visuelle, cette réduction n’est pas significative

33


Discussion

Réaction des conducteurs à l’utilisation de la pédale à retour d’effort

Meilleure efficacité de la pédale à retour d’effort sur la stabilité du pied

Modification rapide de l’impédance du pied des conducteurs Bonne adaptation aux modulations de signaux haptiques

Le raidissement de la pédale semble entrainer une stimulation inhibitoire reflex


Canal visuel saturé Poids de la modalité visuelle chute (Helbig & Ernst, 2008)

Réelle auto-amélioration avec le retour haptique (Sh et Svh)

Modalité haptique plus adaptée à la tâche d’éco-conduite

34



Efficacité des comportements simples d’éco-conduite

Amélioration apportées par les interfaces d’assistance à l’éco-conduite (visuelle ou haptique)

Réduction significative du workload conducteur dans les conditions assistées par la pédale à retour d’effort

Les conducteurs se fient apparemment plus à la modalité haptique lorsqu’ils ont les deux interfaces à leur disposition

Conditions expérimentales non écologiques : absence de trafic routier Etudes ultérieures : impact du trafic routier et des situations critiques

d’usage

35


Expérimentation 3 : démultiplication de la direction

36


Problématiques

Adaptation sensorimotrice aux gains visuo-haptiques au volant

Optimisation du couple d’assistance au volant dans une direction à démultiplication variable

37


Contexte

Sur la plupart des véhicules actuels, le ratio de démultiplication entre le volant et les roues est de 1/16

Le calculateur alimente le moteur d'assistance du volant en fonction : De l'angle appliqué au volant

Du couple conducteur

De la vitesse du véhicule

Démultiplication variable de la direction en introduisant un gain sur le ratio roues / volant Variable Steering Ratio (VSR) BMW : Active Front Steering (AFS)

Toyota : Variable Gain-Ratio Steering (VGRS)

Audi : Dynamic steering

38


Bibliographie

Perception et action du conducteur

Contrôle en boucle ouverte : modèle inverse consigne angle volant (Cunningham & al, 2001)

Modèle interne : anticiper la dynamique du véhicule minimiser les erreurs en boucle ouverte

Contrôle en boucle fermée : retour d’erreur corrections (Wallis & al, 2007)

Adaptation des conducteurs aux perturbations sensorimotrices

Modulation d’impédance des bras (Gribble & al, 2003)

Mise à jour du modèle interne

39


Protocole

Tâche : enchainement de 2 x 3 slaloms distincts

5 participants (4 masculins, 1 féminin)

Conduite très sollicitante : dynamique en slalom assez sèche Essais courts et réservés aux habitués des simulateurs dynamiques

Plan d’expérience 1 essai avec condition Sd : 3 premiers slaloms sans gains, 3 derniers slaloms avec

un gain double sur la démultiplication 1 essai avec condition Sd&c : 3 premiers slaloms sans gains, 3 derniers slaloms

avec un gain double corrélé sur la démultiplication et le retour d’effort au volant

30 m

2 m

500 790 1080 1370 1660 1950

40


Résultats

Conditions initiales

Application des gains au volant

Gain démultiplicationGain démultiplication & couple volant

41


Résultats

42


Discussion

Adaptation sensorimotrice aux gains de démultiplication et de couple Adaptation très rapide dans les deux conditions

Gain démultiplication réduction variabilité vitesse rotation volant

Intérêt de la corrélation gains démultiplication et couple non vérifié

Préconisation validée par (Liu & Chang, 1995 ; Chai, 2004)

Adaptation consciente au changement de démultiplication Distorsion brutale (gain double) les conducteurs sont conscient des

changements de paramétrage de la direction (Kagerer & al, 1997)

Adaptation plus facile à un changement de démultiplication progressif

43



Préconisation : corréler les gains de démultiplication et de couple volant

Retour d’effort asservi à l’accélération latérale plutôt qu’à l’angle volant

Adaptation consciente ou inconsciente? Gain démultiplication double adaptation consciente

Gain couple : adaptation inconsciente (Toffin & al, 2003)

Identifier la limite d’adaptation sensorimotrice des conducteurs

Direction à démultiplication variable asservie à la vitesse du véhicule

44


Synthèse

45


Synthèse

Pondération dynamique des indices visuels et haptiques dans l’intégration visuo-haptique en fonction de la fiabilité de chaque modalité dans le contexte expérimental

Dans différentes conditions expérimentales, le système visuo-haptique a une grande capacité d’adaptation aux conflits visuo-haptiques Adaptation aux délais visuo-haptiques Adaptation à la suppression de l’une ou l’autre des modalités Adaptation aux gains sur l’une ou l’autre des modalités

Dans une certaine limite, l’adaptation est inconsciente, puis la perturbation devient consciente à partir d’un certain seuil

L’adaptation inconsciente est plus efficace que l’adaptation consciente

46


Synthèse

Préconisations pour les assemblages virtuels Délai visuel ne dépassant pas 300 ms pour les assemblages virtuels Au delà de ce seuil, la domination d’une des deux modalités dépend du contexte

expérimental

Préconisations pour l’assistance à l’éco-conduite Modalité haptique aussi efficace que le visuel pour l’assistance à l’éco-conduite Modalité haptique semble être plus fiable et plus efficace pour les conducteurs

Préconisations pour la démultiplication de la direction Corréler les gains de démultiplication et de couple volant assistance au volant

asservie à l’accélération latérale plutôt qu’à l’angle volant Adaptation plus facile (inconsciente) aux gains progressifs

Direction à démultiplication variable asservie à la vitesse du véhicule

47


Merci de votre attention !

Documents

Slim Azzi31 janvier 2012Soutenance de thèse Couplage visuo-haptique en environnement de conduite simulée Soutenance de thèse Jury Pr. Philippe Fuchs, Centre