Les Humanoïdes - deptinfo.cnam.frdeptinfo.cnam.fr/Enseignement/DEACAM/animation... · 4 Groupes de...

1

Les Humanoïdes

Présenté par : N’dri AHOUA – Décembre 2003

2

Plan de l’exposé

• Introduction

• Présentation des groupes de recherche et de leurs projets sur les humanoïdes

• Différents types d’humains virtuels

• Modélisation des humanoïdes

• Spécification 3D des humanoïdes

• Animation des humanoïdes

• Application des humanoïdes

• Conclusion et perspectives

3

Introduction

Humanoïde = représentation graphique d'un être humain par un ordinateur

Reproduire l’être humain dans un environnement virtuel = simulation du mouvement humain : => tâche particulièrement complexe

Mise au point de nombreuses méthodes par différents groupes de recherche : H-Anim, IRISA, CRYO, Mirlab, XD PRODUCTION

CEDRIC…

Problèmes :

• intrinsèquement complexe

• de cohérence dans la combinaison de mouvements

• de complexité du mouvement du corps humain

4

Groupes de recherche et leurs projets

• IRISA ( Institut de Recherche en Informatique et Systèmes Aléatoires) :

Projet SIAMES ( Synthèse d'Images, Animation, Modélisation et Simulation).

Simulation de systèmes dynamiques complexes afin de réaliser des outils de modélisation et de contrôle pour l’animateur.

• Cryo-Interactive de la société CRYO : projet «Humain Virtuel Temps-Réel»

Création d'un module d'animations interactives d'un humain virtuel.

– Les principales fonctions du module d'animation sont:

• la locomotion (marche, course), la préhension d'objet, le mouvement des habits, etc.

• Le working groupe H-Anim, créé dans le Symposium VRML 97.Spécifications de la représentation des humains virtuels et de ses comportements en VRML.

5

Groupes de recherche et leurs projets (suite)

• MiraLab (Université de Genève)

Un laboratoire pluridisciplinaire travaillant sur la simulation humaine virtuelle et les mondes virtuels.

• XD PRODUCTION (Studio de création et d'animation d'images virtuelles)

– Domaine d’activité :

• Production (films en image de synthèse),

• Recherche et développement (Cyberdome: capture de mouvements, formes et textures),

• 3D sur Internet (XDNet : moteur 3d temps réel conçu pour s'intégrer aux navigateurs internet)

• CEDRIC (centre de recherche et d’études en informatique du CNAM)

6

Les différents types d’humains virtuels

Quatre types d’humains virtuels : d’après D.Thalmann « A NewGeneration of Synthetic Actors »

• Les avatars

• Les acteurs guidés (manipulés par l'utilisateur « marionnette »)

• Les acteurs autonomes (représentent un service ou un programme « robot »)

• Les acteurs perceptifs et interactifs

7

Une notion : les degrés de liberté (DDL)

• Nombre de variables pour spécifier un état physique

• Vecteur d’états

– ensemble de variables définissant toutes les configurations possibles

– forme une base dans l’espace d’états

– Animation : chemin dans l’espace d’états

Exemple :

Une phalange, le genou = 1 degré de liberté

Le poignet….. = 2 degrés de liberté

Le cou, base du pouce = 3 degrés de liberté

8

Modélisation des humanoïdes : définition

Création de personnages dans un environnement virtuel en 3DIntégration des données de ces personnages pour l’animation lors

de la spécification des structures articulées

Une donnée = un nœud qui peut être manipulé pour modifier l’apparence d’un élément (une articulation).

Personnages modélisés = une structure articulée comportant 50 DDL.

La structure = {segments de longueur définie + des articulations de 1, 2 ou 3 DDL}.

9

Modélisation du squelette humain

Il est composé :

• de segments (les os)

• des articulations (reliant les os)

os + articulations = structure articulée décrite par un graphe orienté de corps rigides reliés par des liaisons mécaniques qui définissent un schéma pour simuler les membres et les articulations.

10

Modélisation des humanoïdes : synthèse

Représentation hiérarchique du squelette humain

Règle d’élaboration d’ un arbre de transformation

• Un nœud de l’arbre possède un père unique,

• Les nœuds frères ont un père commun,

• Un nœud sans fils est une feuille de l’arbre,

• Un nœud de l’arbre peut posséder des nœuds fils et des nœuds frères.

Racine

Noeud 0

Noeud 1 Noeud 2 Noeud N...

... ...Noeuds frères

Fils du noeuds 0

Feuille

Le squelette humain représenté par des nœuds de transformation dont l’ensemble constitue un arbre de transformation

11

Spécification 3D des humanoïdes (d’après H-anim)

• L’ humanoïde : hiérarchie d’entités + différents comportements (rotation des articulations, la déformation, la translation)

• Deux étapes pour définir la structure de l’humanoïde :

– mise en place d'une hiérarchie

– définition d'une enveloppe corporelle (la peau)

12

Spécification 3D des humanoïdes

Génération automatique de l'enveloppe corporelle

Une première couche composée d'un ensemble de metaballs modélisant les muscles vient s'additionner au squelette de départ.

L'enveloppe est alors générée à partir de ces primitives pour obtenir le résultat final lors du mouvement du squelette.le squelette humain défini au LIG (Lésions intra-

articulaires du genou) [source……]

13

Un exemple : H-anim (VRML)

• Le corps humain ={ segments (bras, pied etc..)}. • Les segments sont reliés par une articulation (coude, poignet,

cheville). • L’animation = modification des angles des articulations. • Un fichier Humanoïde = {nœuds}• Chaque nœud est défini par un prototype (PROTO)

– Joint = une articulation du corps.– Segment = chaque partie élémentaire (non articulée) du

corps. – Site = emplacement de la caméra et/ou modélisation d’un

point de référence lors de l’animation de point d’ancrage d’un bijou.

– Displacer = représentation d’une action musculaire – Humanoid = le conteneur général

14

Animation des humanoïdes

• Animer une image (cinéma, réalité virtuelle) ==> faire varier un phénomène dans le temps par une procédure.

• Changement ayant un effet visuel ==> objet d'animation

• Objet d'animation : l’évolution de la position de cet objet, de l'observateur ou d'une source lumineuse, modification de la forme, de la couleur, de la transparence ou de la texture.

15

Animation des humanoïdes

Exemple d’humanoïde en mouvement

16

Différents types de mouvements pouvant être simulés

- La locomotion

- Les mouvements corporels

- La préhension

- Les mouvements associés à des tâches complexes

- La génération de gestes

- Etc.

17

Principes de l’animation en informatique

• Mouvement = une séquence d’animation (représentée à l’écran)

• Une séquence d’animation = succession d’images présentées les unes après les autres

• Elles donnent une impression de mouvement du fait de la persistance rétinienne de l’œil humain

• Pour une séquence d’animation il faut :– Une modification des objets du monde virtuel/temps– Transformer la représentation des objets et les afficher

18

Description des états d’une séquence d’animation

Diagramme d’état d’une séquence d’animation

Différents états

• Calcul de l’image

• Modification de la configuration des objets en fonction du temps

• Affichage de l’image (processus du double « buffering »)

19

Différentes méthodes utilisées en animation

• Trois principales méthodes sont utilisées

La cinématique (production d’effet sans se préoccuper des causes : comment le mouvement peut être représenté)

La dynamique (description des lois physiques qui lient les causes et les effets )

Calcul de mouvements à partir du mouvement (tout mouvement peut être décrit à partir d’une base de trajectoires préenregistrées)

20

Différentes techniques d’animation

• Trois principales techniques d’animation

Animation par images clé « keyframing »

Animation par capture de mouvements « motion capture »

Animation par modèles physiques

21

• Le « keyframing » = animation traditionnelle + interpolation entre scènes intermédiaires de deux images clés

• Le principe d’interpolation– Fournir des images à des instants donnés – Le programme calcule les images intermédiaires par interpolation (transformation d’une forme géométrique en une autre forme lors de l’animation)

• Règle de l’interpolation– Il faut certaines correspondances entre deux positions clés successives (entre image de départ et image d’arrivée)– Cas contraire : procéder à un prétraitement pour faire concorder les deux positions clés

Animation par images clé « keyframing » (1/2)

22

Animation par images clé « keyframing » (2/2)

• Exemple: une transformation de formes (le morphing)

• Le « morphing » = animation par des images calculées à l’aide de fonctions continues (souvent linéaires)

Une interpolation 3D

23

Mise en œuvre du « keyframing »

Pour mettre en œuvre le « keyframing » il faut :

• Une horloge pour cadencer le calcul de l’animation et spécifier la durée de l’animation

• Spécifier les moments clés de l’animation : c’est à dire les moments caractéristiques (début, fin, …)

• Spécifier les valeurs clés de l’animation : point de départ, arrivée, …)

• Un système d’interpolation : calcule à chaque moment les valeurs caractéristiques de l’objet à partir des valeurs clés

24

Domaines d’utilisation du « keyframing »

K eyfram ing

L angage

E nvironnem ent 3D 3ds m ax

program m é Java 3D

décrit V R M L

25

VRML

• VRML (Virtual Reality Modeling Language) = langage de description des scènes 3D adapté au web

• PrincipesL’unité de base est la scène.Le format de ficher : type texte.

• Concepts de base:• Nœud: unité basique d’un fichier VRML. • Prototype: patron pour construire un nouveau type de nœud.• Système d’événements: la possibilité d’émettre et/ou de recevoir des événements d’autres éléments de la scène.• Système de routage: permet la propagation des événements entre les objets.

26

Exemple de fichier VRML uneTable.wrl

#VRML V2.0 utf8DEF T Transform {children [

Transform { # plateautranslation 0.0 0.4 0.0childrenShape {

appearance Appearance {material Material { diffuseColor 0.8 0.8 0.8 }

}geometry Box { size 1.3 0.15 1.3 }

}}

Transform { # pied 1translation -.5 0.0 -0.4childrenDEF Pied Shape {

appearance Appearance {material Material { diffuseColor 1.0 1.0 0.0 }

}geometry Cylinder { height 0.9 radius .075 }

}}

Transform { # pied 2

translation .5 0.0 -0.4

children USE Pied

}

Transform { # pied 3

translation -.5 0.0 0.4

children USE Pied

}

Transform { # pied 4

translation .5 0.0 0.4

children USE Pied

}

]

}

27

Le « keyframing » en VRML

• La structure générale du « keyframing » en VRML

• Les différents interpolateurs VRML

28

Animation en VRML

• Utilisation du mécanisme d'événements (eventIn eventOut..)

• Description des comportements dans un langage de programmation (utilisation du nœud «Script» : Java Javascriptou VRMLscript)

• Déclenchée par un événement utilisateur (détection d'un clic souris : «capteurs» ou une horloge «TimeSensor»)

• Interpolateurs (pour générer l’animation entre deux images)

29

Animation en VRML : gestion des évènements

• Un événement = message contenant 1 valeur champ considéré).

• Un nœud VRML est composé de champs de type: – «eventIn» évènements en entrée – «eventOut» évènements en sortie– «exposedField » des évènements en E/S– «field» des champs en lecture seule

• «Route» (Routage) = aiguillage des nœuds d’ E/S de même type

• «TimeSensor» = génération des événements correspondant àdes tics d'horloge à intervalles réguliers.

30

Animation en VRML : les instructions

Interpolateurs de VRMLCalcul d'interpolation

Champ keyValue d'un interpolateurValeurs clés

Champ key d'un interpolateurMoments clés

Champ cycleInterval de TimeSensorDurée de l'animation

TimeSensorHorloge

Instructions VRML correspondantesFONCTION «keyframing »

31

Animation en VRML : un exemple

• Conception– humanoïde de sexe féminin conçu par le groupe H-anim

– Il est debout sur un terrain plat (position initiale)

– Un menu horizontal : Stop, Marcher, Courir, Sauter, Marche_cercle

– La modification du pointeur = présence d’événement àl’option.

– Un clic sur une option ==> déclenchement de l’événement associé à cette option

32

Animation en VRML

• Démonstration

33

Java 3D : définition

• Java 3D = bibliothèque de classes pour créer des scènes 3D (utilisation de formes complexes, d'éclairages, de textures, d'animations, de sons)

• Le package Java 3D : extension du langage Java

• Utilisation des bibliothèques graphiques 3D existantes (les standards OpenGL, DirectX … )

• Importation des graphes de scènes VRML

• Indépendant du matériel

34

Principe d’animation en Java 3D

• On a besoin de créer :– Un «TransformGroup pour gérer des transformations des objets

3D – Un objet «Alpha» précisant le nombre de tours et la vitesse du

mouvement– Un «Interpolator» (sous classe de Behavior) construction d’une

interpolation du temps entre deux valeurs– «Bounding» indiquant la zone modifiée

Syntaxe :Les deux premiers sont reliés par :RotationInterpolator(Alpha alpha, TransformGroup target)puis void setSchedulingBounds(Bounds region)lancé sur un «Behavior»

35

Interpolation en Java 3D

• Système d’interpolation

Alpha Interpolateur Objet (TG)intervalle Valeurs

• Organisation d’une animation

36

Les différents types d’interpolateurs

Interpolation linéaire entre deux positions définissant la composante de translation du TransformGroup cible

PositionIterpolator

Interpolation linéaire entre deux valeurs définissant la composante de mise à l'échelle uniforme du TransformGroupcible

ScalarInterpolator

Interpolation linéaire entre deux valeurs définissant la composante angulaire de rotation du TransformGroup cible.

RotationInterpolator

permet l’interpolation entre les différentes valeurs.

PathInterpolator

Interpolation entre deux couleurs définissant la composante diffuse du matériau cible

ColorInterpolator

37

Les transformations en Java 3D

• Transformations : utilisées pour positionner et animer une forme 3D dans l'espace

• La classe «Transform3D» décrit une opération de translation, de rotation ou d'homothétie

• Cette opération est associée à une instance de la classe «TransformGroup» et ajoutée à l’arbre de la scène pour l'appliquer sur une forme

38

Procédure d’animation d’un objet en Java 3D

• Après la création de « TransformGroup » :• On crée un objet « Alpha » (fonction de rotation au cours du

temps : Alpha(int nombreDeBoucles, long duree) )• On crée un interpolateur (faisant référence à Alpha et l’objet

cible)– RotationInterpolator rotator = new

RotationInterpolator(…);

• On crée un « scheduling » (région du mouvement )– BoundingSphere bounds = new BoundingSphere( new

Point3d(0.0,0.0,0.0), 100.0);• Ajout de l’interpolateur au graphe de scène

– rotator.setSchedulingBounds(bounds); pour fixer la région du mouvement de rotation à cette sphère

39

Un outil d’animation : 3d smax

• Logiciel de création, de modélisation, d’animation et de rendu d’objet 3D

• C’est une application indépendante tournant sous le système windows

• Il permet la création des objets d'une scène, la modification deces objets ainsi que leur manipulation.

• Les constituants fondamentaux d'une scène sont :– La géométrie– La lumière– Les caméras

40

Interface de 3ds max

• L'interface du logiciel contient les informations relatives à:

– La modélisation et l'édition

– La définition des matériaux

– L'animation

– Le rendu

• L'interface de 3D Studio Max contient huit zones principales detravail

41

L’animation dans 3ds max

• Utilisation des modificateurs d’objets pour l’animation dans unescène

• Enregistrement des paramètres de modifications

• Des outils permettant de manipuler les clés d’animation– La vue piste: « Track View »– La configuration du temps pour déterminer et mesurer la

durée de l’animation

• Des contrôleurs pour générer l’animation

42

Le « keyframing » dans 3ds max

• 3ds max permet l’animation par image clé « keyframing »

• Chaque image clé est défini par l’utilisateur

• Le programme calcule l’ensemble des images intermédiaires en tenant compte des paramètres

• La technique de calcul utilisée est l’interpolation générée par les différents contrôleurs

43

Les contrôleurs dans 3ds max

• Les contrôleurs = fonctions spécifiques qui gèrent des données d’animation– le stockage des valeurs d’animation– Prise en charge des interpolations d’une valeur à une autre

• Un contrôleur est associé à un objet dont les paramètres (spécifiés par le composant central) sont animés

• exception de « transformation » toujours affecté à tout nouvel objet au moment de sa création

• Exemple : « Linear » (linéaire), « Smooth » (lissage)

44

Structure générique pour l’animation de type « keyframing »

• Une structure générique des trois systèmes :– VRML, Java 3D, 3ds max

Horloge Interpolateur Objet animé

Durée Moments clés

Valeurs clés

Intervalles Valeurs

45

Conclusion «keyframing »

• Contrôle de l’animation par l’utilisateur

• Demande une compétence de l’animateur

• Manque de fluidité dans le mouvement

46

Animation par capture de mouvements « motion capture »

• Capture de mouvements = filmer un acteur dans un costume de capteur effectuant des mouvements spécifiques

• Chaque geste des articulations (représentées sur le costume) indique les postures clés du mouvement

• L’animateur analyse les mouvements et les adapte aux modèles 3D

• Un système de capture = – { senseurs alimentant les données de position et

d’orientation à un ordinateur } – Des caméras – Du matériel et des logiciels de traitement

47

Animation par capture de mouvements « motion capture » : un exemple

• Exemple d’animation par capture de mouvements

Capture du mouvement par la méthode optique et retranscription au modèle 3D

48

Animation par capture de mouvements « motion capture » : principe

• Enregistrement des actions de l’acteur

• Analyse des actions

• Réplication sur un objet 3D– Directe (le bras humain contrôlant le mouvement du bras du

personnage 3D)– Indirecte (contrôler la tête d’un personnage par la souris)

49

Les différentes étapes de la capture de mouvements « motion capture »

• Planification du processus de capture

• La capture de mouvement

• Nettoyage des données capturées

• Édition du mouvement

• Application du mouvement au personnage 3D animé. « Motion Mapping »

50

Domaines d’utilisation de la capture de mouvements

Optique

Capture de mouvements

Système de capture de mouvements

Traitement des données capturées

Magnétique

Mécanique

Mocap

51

Capture de mouvements : Système mécanique

• Des capteurs capables d’enregistrer leur propre position.

• Ce sont des exosquelettes

• Chaque articulations est munie d’un potentiomètre mesurant l’angle au niveau des articulations

• Fonctionne sans fil

• Pas de perturbation due à l’environnement.

• Exemple

Un capteur mécanique de mouvements, le système « Gipsy2 » de Analogus

52

Capture de mouvements : Système optique

• Exemples : capture avec marqueurs

Le cyberdome d’Angoulême muni de caméra

Acteur en action la reconstitution des mouvements

53

Capture de mouvements : Système magnétique

• Capteurs magnétiques (6 à 11)

• Enregistrement des positions des marqueurs dans l'espace à l'aide de détecteurs.

• Pas de problèmes de masquage

• Limitation d’espace

• Encombrement des filsGypsy Motion Capture System

54

Édition des mouvements capturés

• Pourquoi a-t’on besoin d’éditer les données capturées ?

– La réutilisation

– La création de mouvements difficilement faisables

– L’imperfection de la réalité

– Changement d’intention

55

Structure générique pour la capture de mouvements

Mapping Données Objet animé

Caméras Marionnette

Modèle Acteur

56

Animation par capture de mouvements « motion capture »

• Démonstration

57

Animation par modèles physiques

• Définition des « lois du mouvement » et permettre le programme d’engendrer le mouvement

• Les « lois du mouvement » :– Une procédure à exécuter (équation de la trajectoire)

• V = Fpas * Lpas (v = vitesse, Fpas Lpas = fréquence et longueur des pas)

• Des lois de la physique (y =100 –5t2)

• Des lois comportementales

58

Domaines d’utilisation du modèle physique

Modèle physique

Type d’animation

Environnement d’animation Renderware

Procédurale

Par contrainte

59

L'animation procédurale

• Description du mouvement par un programme• Prise en compte des espaces physiques et dynamiques des

mouvements• On distingue :

– Les méthodes « cinématiques » (reproduction des mouvements sans connaître les causes)

– Modèle « dynamique » (qui s’intéresse aux causes)

– Le calcul de mouvement à partir d’autres mouvements (tout mouvement peut être décrit à partir d’une base de trajectoires préenregistrées)

60

L'animation par contrainte

• Cinématique : – Incorporation de positions clés– Fonction de comportement permettant au personnage de

réagire à l’environnement– La dynamique inverse pour déterminer les forces au

mouvement

• Énergétique (fonction énergétique)• Dynamique (spécification des contraintes géométriques)• Espaces-temps : « comment » (spécification du mouvement,

exécution du mouvement, la structure physique)

61

Application des Humains virtuels

• Sur le web

Première apparition d'une présentatrice virtuelle d'informations sur internet (19 avril 2000)

http://www.ananova.com

• Environnement léger

The Personal Virtual Human Assistant

Virtual Reality Lab (VRlab), EPFL

62

Conclusion et perspectives

• Intégration effective des humanoïdes dans la 3D• Les problèmes de mouvements sont en passe d’être résolus

– Par la combinaison des différentes techniques d’animation – Par la performance des outils

• L’idéal serait de créer des avatars autonomes, intelligents, capables de simuler le comportement humain

• La possibilité d’utiliser ces avatars sur les environnements légers

63

Bibliographie

• [Far 03] J.M. Farinone, Java et le multimédia, 2003

• [AaAVH1998] : Tolga K. Capin, I. S. Pandzic, N. Magnenat Thalmann, D. Thalmann, Realistic Avatars and Autonomous Virtual Humans in VLNET Networked Virtual Environments, (1) Computer Graphics Laboratory, Lausanna, 1999

• http://cedric.cnam.fr/~farinone/CCAM/java3D.pdf

• http://cedric.cnam.fr/~farinone/CCAM/java3D.pdf

• http://www.motion-capture-systems.com/magnetic_motion_capture_km_kk.html

• http://www.ananova.com

• http://ligwww.epfl.ch/

64

Les humanoïdes

• Questions ??????????

65

Annexes

Exemple d’interpolation : A B et B A• On fournit le point de départ A, point d’arrivée B, puis celui de A • Le programme calcule les points intermédiaires de la trajectoire• Animation de 10s : Si A-- B =5s, et XA =0, XB =10

t = 0 x = 0, t = 5 x = 10 ==> x = 2tt = 5 x = 10, t = 10 x = 0 ===> x = -2(t-5)+10 (linéaire car x = at+b)