CoRSAIRe & Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats Programme MDMSA 2005 Revue de projets 13 novembre 2008

CoRSAIRe & Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats Programme MDMSA 2005 Revue de projets 13 novembre 2008

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 2 Sommaire de lexpos n Introduction Patrick BOURDOT (LIMSI), Jean-Marie BURKHARDT (ECI-Universit Paris V) n Problmatique en Bioinformatique Catherine ETCHEBEST et Ludovic AUTIN (EBGM) n Problmatique en Mcanique des Fluides Jean-Marc VEZIEN, Franois LUSSEYRAN (LIMSI) n Avances en Interaction Haptique Mehdi AMMI (LIMSI), Jrme PERRET (HAPTION SA) n Avances en Audio 3D Olivier WARUSFEL (IRCAM), Brian KATZ (LIMSI), Lorenzo PICINALI (IRCAM) n Supervision Multimodale Patrick BOURDOT (LIMSI), Guillaume BOUYER (IBISC) n Scnarios dusage et Evaluation Jean-Marie BURKHARDT (ECI-Universit Paris V) n Conclusion Patrick BOURDOT (LIMSI) et al.

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 3 Introduction Gnrale n Motivations l Multimodalit : multimdia intelligent l RV : immersion, ralisme, interaction multi-sensorimotrice l Finalit : traitement des canaux sensorimoteurs (et de leurs modalits) pour rendre plus intuitives et au final plus efficaces les interactions en RV n Objectifs dans CoRSAIRe l Aider les utilisateurs dans l'analyse de phnomnes 3d aux donnes massives et complexes l Donner percevoir ces phnomnes en combinant les modalits immersives disponibles sur les canaux visuel, haptique et audio des systmes de RV l Evaluer de faon formelle ces solutions sur des scnarios dusage propres aux deux applications vises n Partenaires : LIMSI-CNRS, IRCAM-CNRS, EBGM-INSERM, Universit Paris Descartes, HAPTION S.A.

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 4 Intro : Analyse des Besoins n Objectifs l Cerner lactivit actuelle o Utilisateurs = Chercheurs (objectifs, procdures,) o Exploration finalise des donnes o Outils et procdures l Dterminer Images Mentales et Activit Cognitive des sujets o Composants, Evolution l Anticiper lactivit future l Nourrir scnarios dusage pour lvaluation n Mthodes l ACD : Analyse Cognitivo-Discursive (Ghiglione et al.1998) o Mthode danalyse du discours des utilisateurs : applique sur les donnes dentretien et les traces de lactivit o Permet didentifier les formes et relations entre noyaux smantiques mobiliss dans leur discours : frquences dapparition des univers smantiques, proximit des rfrences, connecteurs logiques l Observations et verbalisation en situations : o Enrichissement du corpus de donnes sur lactivit l Approche participative impliquant les utilisateurs : o Analyse (ACD) o Validation du modle dactivit o Conception et construction ses Scnarios dusage

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 5 Intro : Analyse des Besoins n Rsultats l Modles hirarchiques des tches (Annet & Stanton, 2003) o Description formelle du dcoupage du travail en tche et sous-tches o Met en exergue, sur la tche actuelle : Objectifs / Mode de travail / Besoins propres chaque niveau de dcomposition o Reprsentation facile comprendre, exploiter, remanier et valuer par les utilisateurs et les concepteurs excellent outil pour crer de nouvelles interfaces Exemple (extrait) sur le Docking molculaire l Scnarios dusage

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 6 Application : Bioinformatique n Aspect biologique l Fonction protique Interactions avec des partenaires (ADN, protine (IPP),membrane etc..) l Drgulation Pathologie, dsordres mtaboliques Les mdicaments dvelopps actuellement ciblent des IPP l Difficult dobtention exprimentale des structures 3D des complexes protiques: prdiction par la bioinformatique n Notions de bases sur les IPP l Bonne complmentarit topologique (forme) l Notion dnergie ou valuation de score par la mcanique molculaire : Energie de Van der Waals et d'lectrostatique

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 7 Bioinfo 2/4 : Processus de Docking pour la prdiction des IPP Reprsentation Recherche conformationnelle (corps rigide) Rotation Translation Selection et classement selon le score Affinement

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 8 Bioinfo 3/4 : Analyse des Besoins n Mthode l 4 entretiens semi-dirigs avec des chercheurs l 4 sances dobservation de lactivit sur les outils existants + recueil des protocoles verbaux + recueil dobservables l Analyse de traces crites (articles, manuels de formation) + recueil des caractristiques des graphiques n Besoins informationnels l Physico-chimie des protines : l Topologie des protines : Complmentarit gomtrique l Sites de liaison ou hot-spot n Contraintes en RV l Assister le processus de docking mis en vidence l Interaction Temps Rel l Perception multi-sensorimotrice l Projection Information modalit Scores

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 9 Bioinfo 4/4 : Approche retenue n Cas test : Barnase-Barstar

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 10 n Ecoulement de cavit : coulement grande vitesse cisaill (instable) + fluide intra-cavitaire pig (recirculation) n Intrt de ce type dtude : l interaction fluide / discontinuits structurelles (train datterrissage, toit ouvrant) l instabilit due au cisaillement tourbillon et trane Application : Mcanique des Fluides POLLUTION CONTROLE BRUIT TRAINEE VIBRATIONS

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 11 McaFlu 2/4 : objectifs de lactivit n Problmatique gnrale: caractriser des coulements de fluides partir l des objets mathmatiques qui permettent de les analyser Caractrisation objective l de la construction dune reprsentation mentale propre au chercheur : Caractrisation subjective par analyse active l de lobjectif situ du chercheur et de ses connaissances a priori (script, littrature scientifique)

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 12 McaFlu 3/4 : Analyse des Besoins n Mthode l 4 entretiens semi-dirigs avec des chercheurs l 4 sances dobservation de lactivit sur les outils existants + recueil des protocoles verbaux + recueil dobservables l 6 simulations dexploration accompagne sur 2 problmes rels + recueil des protocoles verbaux + recueil dobservables n Rsultats : modle hirarchique des tches (extrait), spcificit de lactivit l Modle initial statique l Dynamique o Suivi dans le temps o Configuration dintrts o Altern. navigation/analyse o Comparaison dtats

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 13 n Exemple simplifi : spectre piqu (vitesse), essentiellement 2D dans la couche de cisaillement, mais structure intra-cavitaire 3d complexe l Outils : mesures locales, imagerie (2D instantanes) l Simulations numriques: 3D, confronter aux mesures relles n Quoi : Vorticit, facteur Q, lignes de courant.. insuffisant ( t fix) n Limmersion apporte: l La ractivit par une interaction temps-rel directe l La mise en correspondance des donnes et des modalits: Evite la surcharge visuelle l Sonification = analyse de type spectrale coute = analyse rapide l Haptique : caractristiques locales, ponctuelle de lcoulement Rendu dune grandeur rsultante (traine). McaFlu 4/4 : Approche retenue

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 14 Interaction Haptique n Haptique : l Motricit (geste) l Perception kinesthsique : o Perception des mouvements propres de notre corps. o Perception des efforts musculaires. l Perception tactile : o Fournit des informations cutanes concernant le contact de la peau avec lenvironnement n Caractristiques l Mode actif o La perception est le rsultat dune action l La boucle temporelle action-perception est dune chelle infrieur celle de la boucle visuelle ou auditive l Analyse locale o Mode Visuel : analyse spatiale o Mode Auditif : analyse frquentielle

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 15 Interaction Haptique : Mise en place du dmonstrateur de Docking n Mode bimanuel l Main domine (WAND) : manipulation du contexte l Main dominante (Bras Haptique) : Interaction entre le ligand et le rcepteur n Mise en place dun module de dtection de collision l Libraire RAPID : contacts multipoints l Retour deffort en force et en torsion grce au bras haptique Virtuose-6D n Mise en place dun module de calcul des interactions lectrostatiques l Calcul dune grille de potentiels lectrostatiques pour la protine cible l Immersion du ligand dans la grille du potentiel du rcepteur

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 16 Interaction Haptique : Mise en place du dmonstrateur de Docking n Module de calcul de complmentarit de surface : gomtrie, VdW, etc. l Calcul des distances minimales : ESPIONS o Calcul dun ensembles de distances sur la bases de critres volutionnistes. o Fluctuation du champ de vecteurs de distance minimum l Calcul dun score de complmentarit gomtrique bass sur les plans de projections : o Test des co-linarits entre les normales des vertex de projections (produits scalaires). o Site(s) de complmentarit gomtriques approxims entre les deux protines. l Approche Itrative o Calcul dun score de complmentarit gomtrique avec une recherche itrative par approche ICP (Iterative Closest Point) o Validation de lapproche sous Matlab o Portage sur la plateforme en cours (module C++)

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 17 Interaction Haptique : Perception de Vortex dun coulement n Etude compare de mthodes de perception haptique disosurfaces l Exploitation dapproches existantes: o Approche polygonale : (-) ncessite le calcul dune reprsentation intermdiaire o Approche volumique : (+) rendu liss et gain de ressources (-) manque de robustesse vis--vis des fortes variations de gradient l Rendu direct disosurfaces o Couplage de lapproche volumique avec une technique de Proxy (+) Pas de reprsentation intermdiaire (+) Une boucle haptique de trs haute frquence quelque soit la rgion explore (+) Convient aux rgions prsentant des donnes de hautes frquences spatiales A Plane

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 18 Interaction Haptique : Caractrisation dun coulement instationnaire n Identification et caractrisation de points singuliers l Couplage dun rendu haptique et dun traitement local des donnes pour reprer les points singuliers l Caractrisation des points dtects o Type : foyer rpulsif, point-selle o Caractristiques : sens, amplitude Amlioration de la comprhension o de la structure spatiale des points singuliers o des caractristiques des points singuliers n Analyse de toute la squence dcoulement l Caractrisation de lvolution du squelette (topologie) de coulement dans le temps l Couplage de lapproche dveloppe avec des calculs de cohrence spatio-temporelle

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 19 Rendu Audio 3D n Sonification l Audification: transcription directe de donnes abstraites vers un flux audible l Model-based sonification: les donnes traduites par un scenario virtuel interactif (e.g. modles physiques) l Parameter-mapping sonification: donnes contrlent diffrents paramtres dun modle de synthse sonore. n Rendu audio spatialis l Audio3D: les sources ou flux sonores sont positionns en direction et en distance autour de lauditeur l Relation privilgie son / espace 3D l Exploitation des mthodes de rendu audio 3D (ambisonique sur haut-parleurs, binaural sur casque).

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 20 Audio 3D: Immersive data sonification n Apport de la spatialisation du son dans une tche dexploration interactive. o Abstraction dune tche dexploration de donnes spatiales (McaFlu & BioInfo) o Comparaisons des performances dexploration sonifie avec et sans spatialisation. n Mtaphores pour la manipulation dun objet gomtrique o Abstraction de lapplication BioInfo o Mise en correspondance de lorientation de deux objets prsents visuellement (3D). o Une tche de manipulation mono-manuelle. o Feed-back proprioceptif et auditif. o Comparaisons des sonification (gestuelle, informative, prdictive).

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 21 Audio 3D: Bioinfo Donnes (temps-rel)Sonification Complmentarit Topologique (distances et variance atome-atome) Randomisation hauteur et ordonnancement segments dans une synthse granulaire Gradient Complmentarit Topologique Intervalle ascendant : complmentarit amliore Intervalle descendant : complmentarit dgrade Distance entre les deux protines Rapport son direct / champ rverbr (distance auditive) Collisions entre atomesBruit spatialis / instance Prsence des hotspots dans linterface Filtre passe-bas, spatialis pour chaque protine Contribution Electrostatique rsultante Rptition de 2 sons complexes hauteur (Electrostatique) intervalle temporel (Van der Waals) Energie de Van der Waals rsultante

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 22 Audio 3D: Bioinfo Donnes (temps-rel)Sonification Complmentarit Topologique (distances et variance atome-atome) Randomisation hauteur et ordonnancement segments dans une synthse granulaire Gradient Complmentarit Topologique Intervalle ascendant : complmentarit amliore Intervalle descendant : complmentarit dgrade Distance entre les deux protines Rapport son direct / champ rverbr (distance auditive) Collisions entre atomesBruit spatialis / instance Prsence des hotspots dans linterface Filtre passe-bas, spatialis pour chaque protine Contribution Electrostatique rsultante Rptition de 2 sons complexes hauteur (Electrostatique) intervalle temporel (Van der Waals) Energie de Van der Waals rsultante n Exemple sonore (0:44)

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 23 1. Donnes 400 Hz sonification de 3 positions statiques simultanes (0:19) 2. Donnes 30 Hz sonification de lexploration via 1 position mobile (0:17) n Donnes (pr-calcules) l Vitesse du fluide selon 3 directions (X, Y, Z) au cours dune simulation dcoulement de 20 secondes l Donnes chantillonnes deux niveaux de dtail en espace et en temps. n Interface de sonification (cre en Max/MSP): l Environ 100 instances de sonification possibles simultanment l Exploitation selon les 2 modes de rsolution de donnes (400Hz et 30Hz) l 4 mthodes de sonification disponibles pour chaque instance l Possibilit de spatialiser chaque instance n Exemples 23 Audio 3D: McaFlu

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 24 Supervision Multimodale n Problmatique l Informations diffrentes fonctionnalits de rendu (modalits) l Conception de ces mappings a t faite au regard des tches, mais de faon relativement statique l Comment grer lactivation dynamique de ces diffrentes modalits avec des proccupations de : o Simultanit o Redondance o Complmentarit o Substitution n Approche tudie : Supervision multimodale l Moteur de dcision de lallocation modale des informations : o adapte aux objectifs de lutilisateur : la tche quil a choisi deffectuer un instant donn o module par ltat courant de lensemble du systme (utilisateur, application, matriel) l Critres de dcision : o Smantique des tches raliser o Modalits disponibles o Caractristiques humaines o Contexte dinteraction

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 25 Supervision Multimodale n Rsultat : l Systme de requte l Base de connaissances statique: o Rgles de projection idales o Construites partir des recommandations ergonomiques l Base de contexte : o Donnes statiques : statut de lutilisateur, environnement matriel o Donnes dynamiques mises jour par un observateur de contexte : tat de la scne, de lutilisateur dans celle-ci, tche courante, tat des priphriques et du rendu l Moteur de dcision : o rgles logiques de modulation des projections idales en fonction du contexte l Modle des interaction o communication entre les diffrents composants

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 26 Scnarios dusage & Evaluation 1/4 n Objectifs l Evaluer ladquation des fonctionnalits aux besoins l Evaluer lapport de la multimodalit et de limmersion lactivit l Continuer le processus de conception o Fonctionnalits o Multimodalit n Contraintes l Maquettes ou versions oprationnelles/fonctionnelles du systme l Profils et nombre de sujets potentiels n Approches l Evaluation sans utilisateurs o Adaptation mthode existante, e.g. critres (Bach, 2004), heuristics (Tromp & al.), Cognitive walkthrough (Sutcliffe et al.), etc. l Evaluation avec des utilisateurs o Scnarios dusage (Utilit, utilisabilit ) o Evaluation performance

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 27 Scnarios dusage & Evaluation 2/4 n Evaluation 1 - scnario Docking Molculaire l Objectif o Evaluation densemble du systme l Population o Experts en docking / tudiants avancs (N=10-15) l Tche o Scnario dusage o Amarrage complexe Barnase-Barstar o Phase dentranement / familiarisation o 10 essais placement sur une position juge probable / correcte l Donnes recueillies o Verbalisation simultane o Actions, position enregistre, temps o Questionnaire satisfaction / valuation subjective

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 28 Scnarios dusage & Evaluation 3/4 n Evaluation 2 - scnario McaFlu l Objectif o Evaluation densemble du systme o Approche formative o Anticipation Fonctionnalit Interaction multimodale l Population o Experts en mcanique des fluides (N=5 maxi) l Tche o Scnario dusage o Phase de familiarisation / prise en main o Utilisation pour lexploration l Donnes recueillies o Verbalisation o Questionnaire satisfaction / valuation subjective

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 29 Scnarios dusage & Evaluation 4/4 n Evaluation 3 - Exprimentation rle MM l Objectif o Evaluer lapport des modalits lexploration et la prise de dcision dans un environnement 3D l Population o Sujets sans expertise particulire (N=30) l Plan exprimental o Visuel vs. Visuel + Haptique actif vs. Visuel + Son l Tche o Scnario simplifi (cavit) o Phase de familiarisation / prise en main o 2 phases Naviguer dans lespace 3D pour trouver (localiser et identifier) une liste dobjets connus Naviguer pour retrouver les objets prcdemment l Donnes recueillies o Performances (tps, path, actions etc.) o Verbalisation spontanes o Questionnaire satisfaction / valuation subjective

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 30 Conclusion : Production & Retombes n Production scientifique l 13 papiers internationaux (dont ISon07, EGVE07&08, IEEE 3DUI08, EuroHaptics08...) l 4 chapitres douvrage l 1 poster en colloque international l 2 thses acheves (1 soutenance en dcembre 2008) + 1 thse en cours l 1 article de revue accept la rvision et en cours de soumission finale l Nombreux rapports internes et mmoires de Master n Production logicielle l 2 dmonstrateurs oprationnels l 2 bibliothques de rendus audio et haptique dployables l 1 moteur de supervision mutimodal n Essaimage humain l 1 doctorant MdC (IBISC ENSIE, Evry) l 1 doctorant et postdoc 3 annes postdoc dans FVnano (LBT, Paris) l 1 postdoc 2 ans chez Scripps (Pr. A. Olson, Californie) l 1 master recherche doctorant lENSAM (Paris) n Essaimage scientifique l Accept : EVEILS (Espaces Virtuels pour l'Education et l'ILlustration Scientifique), Programme Blanc ANR 2008 l Evalu positivement : MEDOCK (suite de CoRSAIRe/Bioinfo sur interaction collaborative avec modle dynamique multi-chelle, appel COSINUS 2008 de lANR

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 31 Conclusion : Bilan / Objectifs n Positionnement international et/ou national l Aucun des systmes existants (cf. pour Docking : Grope, ARC docking, STALK et variantes) ne correspond au processus rel dexploration mis en uvre par les chercheurs l Aucun de ces systmes nont t valus, a fortiori avec des chercheurs l Certains systmes existants utilisent lHaptique, mais aucun nont dapproche Audio et Multimodale l Peu de systmes de RV exploitent des canaux sensorimoteurs pour convoyer des informations abstraites n Objectifs initiaux sont atteints : l Conception de rendus haptique et audio sur des donnes massives abstraites l Solution de supervision multimodale des rendus multi-sensorimoteurs l Progrs dans les applications scientifiques de RV (McaFlu, Bioinfo) n Rsultats supplmentaires l Formalisation du processus de docking l Nouvel axe dinvestigation ergonomique : les utilisateurs chercheurs ! n Achvement dans les temps (14 Juin - 5 Nov. 2009) l Finaliser les dmonstrateurs (Janv. 2009) l Effectuer les valuations (Avril 2009) l Complter les travaux en Audio et Haptique (Janv. Juil. 2009) l Poursuivre la publication (Avril Nov. 2009) l Dissmination o Enrichir page web : http://www.limsi.fr/venise/CoRSAIRe.html o Oct. Nov. 2009 : projet de Workshop (EuroVR) + Dmonstrations (inauguration)

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 32 Dmo CoRSAIRe/McaFlu

CoRSAIRe & Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats Programme MDMSA 2005 Revue de projets 13 novembre 2008

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 34 Planning dtaill de fin de projet (1/2) n Haptique l Dcembre 2008 : finalisation des travaux visant caractriser les singularits sur toute la squence dcoulement de Mcanique des Fluides. Lobjectif de cette recherche est de mettre en place un ensemble de stratgies, exploitant le canal haptique, pour caractriser et interprter les donnes prsentant une dimension temporelle. l Janvier 2009 : finalisation du module de complmentarit gomtrique en docking de protines. Nous souhaitons galement mettre en place les solutions de filtrage (par interpolation temporelle et spatiale) des scores lectrostatiques. l Janvier mars 2009 : sur la base du dmonstrateur prcdent, nous souhaitons aborder une problmatique portant sur le couplage audio-haptique. Lobjectif de cette recherche est dtudier la rpartition du rendu des donnes de Mcanique des Fluides sur les canaux haptique et audio. n Audio l Dcembre 2008 : Elaboration dun protocole de communication OSC entre Pymol et MaxMSP pour lapplication BioInfo. l Dcembre 2008 : Mise jour et version finale de la plateforme de sonification pour lapplication BioInfo l Janvier 2009 : Elaboration de nouvelles mtaphores de sonification pour lapplication Mcanique des Fluides, et tudes de nouveaux liens avec la modalit Haptique l Janvier 2009 : Mise jour et version finale de la plateforme de sonification pour lapplication Mcanique des Fluides l Mars-Juillet 2009 : au cours du premier trimestre 2009, un nouveau test perceptif sera consacr lexploration de donnes sollicitant conjointement les modalits auditives et haptiques. n Appli Bioinfo : l Mi-novembre 2008 : Amlioration de linteractivit du dmonstrateur pour lutilisateur : utilisation des commandes du bras haptique (boules et boutons) pour commander pymol l Fin novembre 2008 : Evaluation en temps relle des interactions de type liaisons hydrogne et ponts salins l Mi-dcembre 2008 : Dvelopper un systme de changement dchelle des transformations gomtriques des protines afin de permettre des mouvements plus fin lapproche dune conformation dintrt pour lutilisateur. l Janvier 2009 : Amlioration de lvaluation de la complmentarit de surface (cf haptique).

CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Rsultats 35 Planning dtaill de fin de projet (2/2) n Appli McaFlu l voir travaux hatique et audio (ci-dessus), et valuation (ci-dessous). n Evaluation : l Appli Bioinfo : o Fin novembre 2008 : finalisation du protocole exprimentale (consigne, version logiciel de passation, logfile, enregistrement) o Janvier, fvrier 2009 : recrutement et passation de l'tude avec 10 15 experts o Mars analyse des donnes recueillies et rdaction du compte rendu l Appli McaFlu : o Dcembre 2008 : finalisation du protocole d'tude (enregistrement des verbalisation+ cran) o Janvier 2009 : passation avec 4 5 experts de la Cavit explore; o Fvrier, mars 2009 : analyse des donnes recueillies et rdaction du compte rendu l Exprimentation de l'effet de la multi-modalit : o Fin novembre 2008 : finalisation du protocole exprimentale (consigne, version logiciel de passation, logfile, enregistrement) o Janvier, fvrier, mars 2009 : recrutement et passation de l'tude (n= 30 sujets min) o Avril 2009 : analyse des donnes recueillies et rdaction du compte rendu. n Publications, dissmination et rapports finaux : l Mai Novembre 2009.

Documents

CoRSAIRe & Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats Programme MDMSA 2005 Revue de projets 13 novembre 2008