Soutiens : Programme Robea (Robotique et entités artificielles)
France Telecom R&D
J’ai dansé avec machineRepenser les rapports entre
l’homme et son environnement
Guillaume HUTZLER Bernard GORTAIS Jean-Daniel ZUCKER
LaMIUniversité d’[email protected]
LIP6Université Paris 6{bernard.gortais, jean-daniel.zucker}@lip6.fr
Yann ORLAREY Philippe [email protected]
IRITUniversité Toulouse [email protected]
Contexte
Développement des concepts de : wearable computing ubiquitous computing amorphous computing disappearing computers informatique diffuse
Multiplication et diffusion des objets communicants capacités (limitées) de
• traitement• communication• perception et/ou action
ex : téléphones et ordinateurs portables, PDA, capteurs divers, écrans, robots, etc.
Problématiques
Recherche orientée sur la technologie réseaux radio mise en communication d’objets exportation d’interface annuaires de services
Nouvelles problématiques d’organisation
Nouvelles problématiques d’interaction interaction 1-1 : phicon interaction 1-n :
• commande• contrôle• conception
Démarche adoptée
Transposer le problème dans le cadre d’une performance chorégraphique mettant en scène un danseur et un ensemble d’objets communicants
mise en place d’un dialogue multimodal temps-réel entre le danseur et son environnement
• multimodalité dans l’expression du danseur• multimodalité dans l’expression du système
création d’une scénographie dans le cadre d’un spectacle interactif complet
Utiliser le champ créatif comme catalyseur de recherches en informatique champ d’expérimentation grandeur nature
Danseur Humain
SystèmeInformatique
Perception
Metteur en scène
Expression
Schéma général d’interaction
Représentation d’une performance
Description de la performance à différents niveaux d’abstraction (B. Gortais)
ontologie de qualités
Analyse
C A P T E U R S
Analyse
Données brutes
Niveau 1
Niveau 2
Niveau 3Représentation de la séquence comportementale Analyse
Analyse
Emotions : gai/triste, tonique/fatigué etc.
Qualités : lent/rapide, ouvert/fermé etc.
Primitives : vitesse, direction, intensité etc.
Utilisation de notations musicales pour représenter et manipuler des séquences temporelles (Y. Orlarey)
Capture des mouvements
Analyse en temps réel des mouvements d’une personne
dans un environnement quotidien à l’aide des informations d’une caméra unique sans appareillage de la personne
Deux sous-objectifs : définir un modèle du corps humain et l’algorithme
d'appariement qui permettra d'évaluer les paramètres du modèle sur une image vidéo 2D (P. Joly)
mettre au point des techniques permettant l’apprentissage, à partir d’exemples, de l’ontologie définie (J.-D. Zucker)
• ex : associer une mesure de vitesse à une qualité subjective de lenteur ou de rapidité
Fusion multi-capteurs temps-réel
Contraintes : le système doit fonctionner en temps-réel les différents capteurs peuvent avoir des rythmes
d’acquisition des données sensiblement différents• fréquences d’échantillonnage différentes• analyse de certaines données sur une fenêtre temporelle
les différentes données sont de natures très diverses le système doit continuer à fonctionner si l’on ajoute ou si
l’on enlève dynamiquement certains capteurs
Objectifs (G. Hutzler) : mettre en place une plate-forme de gestion et d’exécution
d’agents d’analyse des données expérimenter modes d’organisation pour la construction
collective d’une représentation de la performance
Phase 2 du projet
Choix d’une réponse par le système programmation par démonstration apprentissage par dialogue en langage naturel
Synthèse visuelle et musicale apprendre à exprimer l’ontologie de qualités dans une
modalité d’expression donnée apprendre à mélanger différentes modalités d’expression
Apprentissage d’une mise en scène donner les moyens de décrire de manière simple une
trame générale pour une mise en scène
Recommended
