Environnements collaboratifs 3D Environnements collaboratifs 3D Concevoir des Environnements Virtuels Collaboratifs, des questions et quelques réponses

Environnements collaboratifs 3D Environnements collaboratifs 3D

Concevoir des Environnements Virtuels Concevoir des Environnements Virtuels Collaboratifs, des questions et quelques réponses Collaboratifs, des questions et quelques réponses

sur la plate-forme SPIN3Dsur la plate-forme SPIN3D

Par C Chaillou, S Degrande, P PlénacostePar C Chaillou, S Degrande, P Plénacoste

• IntroductionIntroduction

• Définition et vocabulaireDéfinition et vocabulaire

• La plate-forme SPINLa plate-forme SPIN

• L’interactionL’interaction

• La représentation des acteursLa représentation des acteurs

• La communication entre acteurLa communication entre acteur

Plan du coursPlan du cours

IntroductionIntroduction

• Environnement Environnement ImmersifImmersif

• Utilisation d ’un Utilisation d ’un CAVE, UCLCAVE, UCL

IntroductionIntroduction

• Le bureau du Le bureau du futur, une vue futur, une vue de l ’UNCde l ’UNC

Vocabulaire et définitionsVocabulaire et définitions

• Définition d ’un EVCDéfinition d ’un EVC

• C ’est un outil permettant à plusieurs personnes C ’est un outil permettant à plusieurs personnes distantes d ’évoluer dans un même environnement distantes d ’évoluer dans un même environnement virtuelvirtuel

• Chaque participant est représenté par un avatarChaque participant est représenté par un avatar

• Les personnes peuvent interagir entre elles et avec les Les personnes peuvent interagir entre elles et avec les objets de l ’environnement.objets de l ’environnement.


• L ’environnement virtuel collaboratif est défini parL ’environnement virtuel collaboratif est défini par• Des objetsDes objets

• Une représentation des participantsUne représentation des participants

• Des mécanismes d ’interactionDes mécanismes d ’interaction

–UCL


• Environnement immersif ou non immersif Environnement immersif ou non immersif


• Environnement immersif Environnement immersif • Forte instrumentation de Forte instrumentation de

l ’utilisateurl ’utilisateur

• casques ou salles casques ou salles spécialiséesspécialisées

• suivi de la tête et des mains suivi de la tête et des mains

• Des difficultés importantesDes difficultés importantes

• navigation dans navigation dans l ’environnement virtuell ’environnement virtuel

• interaction avec les objets interaction avec les objets virtuelsvirtuels


• Environnement non-immersif Environnement non-immersif • L ’utilisateur est devant son terminalL ’utilisateur est devant son terminal

• Il dispose de périphériquesIl dispose de périphériques

• Représentation à distance par un Représentation à distance par un avataravatar

• Des difficultés importantesDes difficultés importantes

• Pas de possibilité de se déplacerPas de possibilité de se déplacer

• Reconstruction d ’un présentation Reconstruction d ’un présentation globale cohérenteglobale cohérente

• Comment piloter l ’avatarComment piloter l ’avatar

Modèle d ’interactionModèle d ’interaction

• Dans les environnements immersifsDans les environnements immersifs• Le corps sert à interagirLe corps sert à interagir• Nécessite une capture précise des mouvementsNécessite une capture précise des mouvements• Incohérence entre action physique et conséquence Incohérence entre action physique et conséquence

sur l ’environnement (effet magique)sur l ’environnement (effet magique)

• Dans les environnements non immersifsDans les environnements non immersifs• Création d ’outils d’interaction adaptés à la tacheCréation d ’outils d’interaction adaptés à la tache• Les taches 3D sont difficiles à réaliserLes taches 3D sont difficiles à réaliser• Si on spécialise, conception de très nombreux Si on spécialise, conception de très nombreux

périphériquespériphériques

Fakespace Cubic Mouse

Modèle d ’interaction à deux mainsModèle d ’interaction à deux mains

• Interface naturelle pourInterface naturelle pour• Du positionnement d ’une coupe, métaphore de la Du positionnement d ’une coupe, métaphore de la

maquettemaquette• L’utilisation d ’un crayon dans un environnement 3DL’utilisation d ’un crayon dans un environnement 3D

Personal Interaction Panel, Vienna University of Technology

Cooperative Bimanual Action, Hinckley et al., CHI 1997

Modèle d ’interactionModèle d ’interaction

• Les primitives d ’interactionLes primitives d ’interaction• La navigation, les déplacements dans l ’environnementLa navigation, les déplacements dans l ’environnement

• Le pointage, sélection d ’objetsLe pointage, sélection d ’objets

• avec les mouvements de la main (capture)avec les mouvements de la main (capture)

• via des périphériquesvia des périphériques

• La manipulationLa manipulation

• 6DDL6DDL

• Le contrôle d ’application Le contrôle d ’application

• Les taches symboliquesLes taches symboliques

Vocabulaire et définitions : Le GroupWareVocabulaire et définitions : Le GroupWare

• Evolution de l'organisation de la chaîne industrielleEvolution de l'organisation de la chaîne industrielle • Sous-traitance et filiales, collaboration inter-entreprisesSous-traitance et filiales, collaboration inter-entreprises• Réduction des temps de conceptionRéduction des temps de conception

besoins d'outils de collaboration "distante"besoins d'outils de collaboration "distante"

• Outils disponiblesOutils disponibles• Gestion de projet collaboratifGestion de projet collaboratif• VisioconférenceVisioconférence• Partage d'applications (à la NetMeeting)Partage d'applications (à la NetMeeting)

• Objets actuels conçus numériquementObjets actuels conçus numériquement

• Comment collaborer autour de ces objets ?Comment collaborer autour de ces objets ?

Utilisation d'environnements de partage d'objets 3DUtilisation d'environnements de partage d'objets 3D

Vocabulaire et définitions : Le GroupWareVocabulaire et définitions : Le GroupWare

Vocabulaire et définitions : La coopérationVocabulaire et définitions : La coopération

• Co-Opérer = réaliser à plusieurs une tâche nécessitant Co-Opérer = réaliser à plusieurs une tâche nécessitant de manipuler des objetsde manipuler des objets• "manipuler des objets""manipuler des objets" interface d'interaction avec les objets interface d'interaction avec les objets

• "à plusieurs" "à plusieurs" représentation des autres et de leurs représentation des autres et de leurs actionsactions

• "réaliser … une tâche""réaliser … une tâche" permettre à l'utilisateur de se focaliser permettre à l'utilisateur de se focaliser sur son objectif : l'interface doit être sur son objectif : l'interface doit être

naturelle et transparentenaturelle et transparente

Environnement virtuel collaboratifEnvironnement virtuel collaboratif

• DiveDive

La plate-forme Spin3DLa plate-forme Spin3D

• Les principesLes principes

• La plate-formeLa plate-forme

• L’interaction avec les objetsL’interaction avec les objets

• La communicationLa communication


• Entre bureautique et réalité virtuelleEntre bureautique et réalité virtuelle

• Cible visée : Cible visée : les services combinant dans un même les services combinant dans un même environnement la manipulation d’information et la environnement la manipulation d’information et la

communication en petit groupecommunication en petit groupe

• Une interface unique Une interface unique (un seul lieu, environnement virtuel)(un seul lieu, environnement virtuel)

• en réseau Internet en réseau Internet (public, privé, entreprise)(public, privé, entreprise)

• pour travailler pour travailler (documents, objets actifs)(documents, objets actifs)

• et communiquer et communiquer (clones, avatars animés)(clones, avatars animés)

• ensemble ensemble (savoir toujours qui fait quoi ?)(savoir toujours qui fait quoi ?)

• en temps réel en temps réel (tous les événements synchrones)(tous les événements synchrones)


• Concepts sur lesquels reposent Spin3DConcepts sur lesquels reposent Spin3D• Contact visuelContact visuel• Conscience du regardConscience du regard• Continuité : même espace Continuité : même espace • Qualité sonoreQualité sonore• Perception directe de l’environnement et des interactionsPerception directe de l’environnement et des interactions• Le tout visibleLe tout visible• Animation temps réelAnimation temps réel• Centre d’intérêtCentre d’intérêt


• Environnement de travailEnvironnement de travailbureautiquebureautique

• Une métaphore de Une métaphore de conception: une table de conception: une table de réunionréunion

• Interaction bimanuelleInteraction bimanuelle• Navigation restreinte à l’interaction dans un espace closNavigation restreinte à l’interaction dans un espace clos• Tous les documents, objets et Avatars visiblesTous les documents, objets et Avatars visibles• Temps réel pour la communication et l’interactionTemps réel pour la communication et l’interaction


• Collaboration centrée sur l’activité (domaines d’activités)Collaboration centrée sur l’activité (domaines d’activités)• Réaliste mais pas réel Réaliste mais pas réel • Une table sur laquelle se déroule l’activité principale d’un Une table sur laquelle se déroule l’activité principale d’un

utilisateur (espace d’interaction)utilisateur (espace d’interaction)• Un bandeau pour présenter les interacteurs et autres Un bandeau pour présenter les interacteurs et autres

documents de l’activité documents de l’activité • Organisation de l’interface propre à chaque utilisateuOrganisation de l’interface propre à chaque utilisateu

• Choix de l'objet à manipulerChoix de l'objet à manipuler• Choix de l'orientation de l'objet (point de vue sur l'objet)Choix de l'orientation de l'objet (point de vue sur l'objet)• Adapté à chaque type d'activitéAdapté à chaque type d'activité

• Contenu (objets 3D ou 2D) partagé ou nonContenu (objets 3D ou 2D) partagé ou non


• Espace de travail propre à chaque utilisateurEspace de travail propre à chaque utilisateur• Seuls certains objets contenus dans l’interface sont Seuls certains objets contenus dans l’interface sont

partagés, l’interface en elle-même n’est pas partagéepartagés, l’interface en elle-même n’est pas partagée

• Intégration des utilisateurs distants dans l’interface sous Intégration des utilisateurs distants dans l’interface sous la forme d’avatars 3Dla forme d’avatars 3D

La plate-forme Spin3D : TechnologieLa plate-forme Spin3D : Technologie

• Besoin d’interactivité d’un système de TCAO:Besoin d’interactivité d’un système de TCAO:• Base de données 3D dupliquéeBase de données 3D dupliquée• Topologie pour le maintien de la cohérence complètement Topologie pour le maintien de la cohérence complètement

distribuéedistribuée• Rester adaptable du point de vue du contexte réseauRester adaptable du point de vue du contexte réseau

• Utiliser deux canaux de communication:Utiliser deux canaux de communication:• Canal à cohérence forte Canal à cohérence forte (implémenté au dessus d’un (implémenté au dessus d’un

mécanisme d’ invocation de méthode à distance) avec Corbamécanisme d’ invocation de méthode à distance) avec Corba• Canal à cohérence faible Canal à cohérence faible (implémenté au dessus d’un (implémenté au dessus d’un

mécanisme de flots multimédia) avec MIOPmécanisme de flots multimédia) avec MIOP


• Services pour gérer l’EVC 3D et le bon déroulement de Services pour gérer l’EVC 3D et le bon déroulement de la session de travail coopératifla session de travail coopératif

• Mise en œuvre d’un service:Mise en œuvre d’un service:• Contexte d’exécution décentralisée Contexte d’exécution décentralisée • Fonctionnement au dessus du canal à cohérence forteFonctionnement au dessus du canal à cohérence forte• Schéma de conception basé sur la notion de groupe d’objetsSchéma de conception basé sur la notion de groupe d’objets

• Chaque terminal exécute une instance de l’objet représentant le Chaque terminal exécute une instance de l’objet représentant le serviceservice

• Objets (instance du même service) connectés au bus CORBA = Objets (instance du même service) connectés au bus CORBA = groupegroupe

• Communication au sein du groupe via IIOP ou RMIOP pour assurer Communication au sein du groupe via IIOP ou RMIOP pour assurer le servicele service


• Service de gestion du flux: Service de gestion du flux: • Adaptation du fonctionnement classique à un schéma non Adaptation du fonctionnement classique à un schéma non

centralisécentralisé• Permettre le contrôle les fluxPermettre le contrôle les flux

• Service de gestion de groupe:Service de gestion de groupe:• Gestion des entrées/sorties des utilisateursGestion des entrées/sorties des utilisateurs• Utilisé à haut niveau par l’interface et à bas niveau pour la Utilisé à haut niveau par l’interface et à bas niveau pour la

fiabilisation du protocole multipointfiabilisation du protocole multipoint

• Service de gestion des accès concurrents:Service de gestion des accès concurrents:• Assurer qu’une seule action est en cours d’exécution sur une Assurer qu’une seule action est en cours d’exécution sur une

donnée partagéedonnée partagée• Utilisé par le mécanisme d’interactionUtilisé par le mécanisme d’interaction


• De nombreux navigateurs VRML97:De nombreux navigateurs VRML97:• SGI, Sony, Blaxxun, CortonaSGI, Sony, Blaxxun, Cortona

• Conception de communautés virtuelles 3D sur Internet Conception de communautés virtuelles 3D sur Internet (Cyber Town)(Cyber Town)::

• Grand nombre d’utilisateursGrand nombre d’utilisateurs

• Interaction limitée utilisateur/utilisateurs, Interaction limitée utilisateur/utilisateurs, utilisateur/objetsutilisateur/objets

• Graphe de scène unique correspondant au monde Graphe de scène unique correspondant au monde géométrique 3Dgéométrique 3D

• Navigation dans le monde 3DNavigation dans le monde 3D


• Les besoins du navigateur/afficheur 3DLes besoins du navigateur/afficheur 3D• Graphe de scène propre à chaque utilisateur Graphe de scène propre à chaque utilisateur (pas de (pas de

graphe de scène géométrique)graphe de scène géométrique)

• Graphe de scène construit par l’assemblage de documents Graphe de scène construit par l’assemblage de documents (dont l’état peut être partagé)(dont l’état peut être partagé)

• IHM spécifique IHM spécifique (ombres, boites englobantes)(ombres, boites englobantes)

• Conception d ’un navigateur VRML97 spécifique Conception d ’un navigateur VRML97 spécifique

• (Spin-3D = Terminal VRML97 étendu)(Spin-3D = Terminal VRML97 étendu)


• Création d’applicationsCréation d’applications• Extension VRML97 pour la description d’objets partagésExtension VRML97 pour la description d’objets partagés

• Extension de l’EAI pour la connexion d’applicationsExtension de l’EAI pour la connexion d’applications externes externes

ExternalApplication

Spin-3DVRML97 Browser

Scene graph

DAI

ORB

CORBAclient side

network CORBAserver side

node

field

node ior

field ior

Spin-3DCollaborative

Platform

API

3D CADTool

network

stub

skeleton

generates

eai.idl

generates IDL compiler


L’interactionL’interaction

• Utilisation de périphériquesUtilisation de périphériques• Les activités élémentairesLes activités élémentaires

• Pointage et sélection dans l ’espace 3DPointage et sélection dans l ’espace 3D• ManipulationManipulation

• Déplacement des objets suivant 6DDLDéplacement des objets suivant 6DDL

• Les points de vuesLes points de vues


• Transformer les usages de conception de l’interaction Transformer les usages de conception de l’interaction (ex: conception architecturale)(ex: conception architecturale)

• Métaphores d’action : objectif guider l’action (validées Métaphores d’action : objectif guider l’action (validées par expérimentations)par expérimentations)• Ombres dynamiques pour guiderOmbres dynamiques pour guider

le gestele geste• Ombres statiques pour localiserOmbres statiques pour localiser

les objetsles objets• La forme de l’ombre n’est pasLa forme de l’ombre n’est pas

importanteimportante• Boites englobantes pour guider Boites englobantes pour guider

l’action sur les objets l’action sur les objets • Périphériques qui respectent Périphériques qui respectent

«l’écologie du geste»«l’écologie du geste»


• Métaphores d’interaction ou de collaboration : Objectif Métaphores d’interaction ou de collaboration : Objectif rendre compréhensible l’actionrendre compréhensible l’action• Respectant la manipulation directeRespectant la manipulation directe

• Liées aux types de périphériques Liées aux types de périphériques

• Outils pour agir directement sur les objets Outils pour agir directement sur les objets

• Outils pour permettre l’activité et la collaboration (exemple: Outils pour permettre l’activité et la collaboration (exemple: point de vue) point de vue)

• Gestion des différents espaces d’activitésGestion des différents espaces d’activités

L ’interaction : manipulationL ’interaction : manipulation

• Manipulation 3D basée sur une interaction bi-manuelleManipulation 3D basée sur une interaction bi-manuelle• Une phase de sélection de l'objet (pointeur 3D)Une phase de sélection de l'objet (pointeur 3D)• Une phase de manipulationUne phase de manipulation• Utilisation de 2 périphériques Utilisation de 2 périphériques

dédiésdédiés

L ’interaction : manipulationL ’interaction : manipulation

• Dans la main dominanteDans la main dominante• un pointeur 3Dun pointeur 3D

• Dans l ’autre mainDans l ’autre main• un outil de manipulation 6Dun outil de manipulation 6D

L ’interaction : représentation à distanceL ’interaction : représentation à distance

• Toute action sur un objet partagé a une représentation à Toute action sur un objet partagé a une représentation à distancedistance• Télépointeur distant reprenant Télépointeur distant reprenant

la position du pointeur localla position du pointeur local• Feedback de sélection par Feedback de sélection par

un code de couleurun code de couleur

L’interaction : les points de vuesL’interaction : les points de vues

• Chaque participant peut Chaque participant peut manipuler son exemplairemanipuler son exemplaire• Confusion entre manipulation et Confusion entre manipulation et

changement de oint de vuechangement de oint de vue

• Handicap pour la collaborationHandicap pour la collaboration

• Support d'objets permettantSupport d'objets permettant• De changer de point de vueDe changer de point de vue

• De connaitre les points de vue De connaitre les points de vue des inter-actantsdes inter-actants

L’interaction : montage-démontageL’interaction : montage-démontage

• Conception d ’un ensemble de Conception d ’un ensemble de mécanismes permettant de faire mécanismes permettant de faire des assemblages des assemblages

La représentation des acteursLa représentation des acteurs

• Par des avatarsPar des avatars• Représentation d’un utilisateur dans un EVCReprésentation d’un utilisateur dans un EVC

• Avatar 2DAvatar 2D

[Vertegaal 99]

La représentation des acteursLa représentation des acteurs

• Par des avatarsPar des avatars• Avatar 3DAvatar 3D• Avatar 3D anthropo-Avatar 3D anthropo-

morphiquemorphique

• Le cloneLe clone

• Fort potentiel d’animationFort potentiel d’animation

comportementale comportementale vecteur vecteur

de communication de communication

intéressantintéressant

[Bowers 96]

Learning studio

Communication entre les participantsCommunication entre les participants

• Canal audioCanal audio• Facile à reproduire dans les EVCFacile à reproduire dans les EVC

• Les expressions faciales et le regardLes expressions faciales et le regard• Importance du contact visuelImportance du contact visuel

• Les gestesLes gestes

• ActionsActions

• via les périphériquesvia les périphériques

• ConversationConversation

• capture du mouvementcapture du mouvement

Communication via le visageCommunication via le visage

• Les expressions facialesLes expressions faciales

• Le contact visuelLe contact visuel

• comme en visioconférencecomme en visioconférence

• Réalisme des clones par Réalisme des clones par placage de textureplacage de texture

3D Bernard Boxton3D Bernard Boxton


• Utilisation de clones réalistesUtilisation de clones réalistes

Personneréelle

Clonetemps réel

Analyse

traitementtemps réel

Synthèse

déformationdu modèle 3D


• Le contact visuel comme avec MagicLe contact visuel comme avec Magic

• Pilotage des yeux en fonction du centre d ’intérêtPilotage des yeux en fonction du centre d ’intérêt

Communication gestuelle Communication gestuelle

• Différentes technologies de Différentes technologies de pilotage des avatarspilotage des avatars

• Le clone «mimétique»Le clone «mimétique»

• Représentation Représentation

isomorphique du isomorphique du

comportement de comportement de

l’utilisateurl’utilisateur

• Le clone «marionnette»Le clone «marionnette»

• L’utilisateur « pilote » son L’utilisateur « pilote » son

cloneclone

Communication gestuelleCommunication gestuelle

• Différentes technologies de Différentes technologies de pilotage des avatarspilotage des avatars

• Le clone «symbolique»Le clone «symbolique»

• Animation au moyen d’une Animation au moyen d’une

bibliothèque de bibliothèque de

comportementcomportement

• L’analyse des actions de L’analyse des actions de

l’utilisateur par le système l’utilisateur par le système

permet de donner des permet de donner des

comportementscomportements

Communication gestuelleCommunication gestuelle

• Solution dans les environnements non immersifsSolution dans les environnements non immersifs• Clone «symbolique» pour les gestes d ’actionsClone «symbolique» pour les gestes d ’actions

• Clone «mimétique» pour les gestes de conversationClone «mimétique» pour les gestes de conversation

• Ne pas utiliser le mode «marionnette»Ne pas utiliser le mode «marionnette»

• De nouveaux problèmesDe nouveaux problèmes• Articulation entre les deux modesArticulation entre les deux modes

• Problème particulier des gestes mimétiques adressésProblème particulier des gestes mimétiques adressés

Communication gestuelle : gestes adressésCommunication gestuelle : gestes adressés

• Incohérence dans la représentation distanteIncohérence dans la représentation distante

• Introduire une correction en fonction de la vue locale Introduire une correction en fonction de la vue locale

Communication gestuelle et visuelle : articulationCommunication gestuelle et visuelle : articulation

• Changement de mode par l’utilisateurChangement de mode par l’utilisateur• Problème : nouvelle tâche parasite à l’activitéProblème : nouvelle tâche parasite à l’activité

• ImpliciteImplicite• Sur l ’activité via les périphériquesSur l ’activité via les périphériques

• insuffisant pour les gestes adressés et le regardinsuffisant pour les gestes adressés et le regard

• Détection automatique des gestes par le systèmeDétection automatique des gestes par le système• Difficulté : arriver au niveau sémantique de Difficulté : arriver au niveau sémantique de

reconnaissance du gestereconnaissance du geste

• Système hybrideSystème hybride• Apprentissage de gestes différentiablesApprentissage de gestes différentiables

• « Interface de commande par détection d’intention »« Interface de commande par détection d’intention »

Exemples d ’utilisationExemples d ’utilisation

Service après-vente

Travaux pratiques

Télé-diagnostiqueArgonaute 3D © France Télécom, IRCAD

ConclusionConclusion

• La conception de spin3D est toujours en coursLa conception de spin3D est toujours en cours

• Proposer un environnement intégralement 3D est un Proposer un environnement intégralement 3D est un tache vraiment ardutache vraiment ardu• Quand utiliser des métaphores ? Lesquelles ?Quand utiliser des métaphores ? Lesquelles ?

• Quand reproduire les gestes naturels ?Quand reproduire les gestes naturels ?

• Deux prochaines étapesDeux prochaines étapes• Trouver pour le 3D l ’équivalent de l ’ensemble souris-Trouver pour le 3D l ’équivalent de l ’ensemble souris-

pointeur-fenêtres-menus des actuelles interfacespointeur-fenêtres-menus des actuelles interfaces

• Avoir des outils matériels et logiciels d ’interaction dans les Avoir des outils matériels et logiciels d ’interaction dans les environnements immersifsenvironnements immersifs

Documents

Environnements collaboratifs 3D Environnements collaboratifs 3D Concevoir des Environnements Virtuels Collaboratifs, des questions et quelques réponses