Tte et visage humainsTir de Bill Fleming & Darris Dobbs, Animating Facial Features& Expressions. Charles River Media, Inc., 99, 382p.

Tte et visage humainsDifficults rencontres dans la modlisation et lanimation duvisage humainCaractristiques dun modle du visage humainMthodes utilises pour traiter de la gomtrie du visageDiffrentes approches de construction du modleTexture de la peauAnimation du visageMouvement des lvres et synchronisation de la paroleCheveux humainsRfrences

Difficults rencontres dans la modlisationet lanimation raliste dun visageLe visage est une structure trs familire, qui prsente une structuresous-jacente bien dfinie tout en autorisant une grande quantit devariations dun individu un autre.Il prsente une forme complexe et dformable avec des partiesdistinctes qui sarticulent les unes avec les autres.Il est linstrument principal de communication et de dfinition ducaractre dune personne.Animer de faon raliste le mouvement des lvres et des rgions fa-ciales voisines lorsque le personnage parle (synchronisation labiale).tre capable de reprsenter fidlement une personne donne(conformation du visage).Permettre une synchronisation prcise entre une piste son et lemouvement des lvres.Considrer larticulation rigide de la mchoire et la dformation desmuscles de la langue.

Caractristiques dun modle du visageBut :Crer la gomtrie dun modle de visage adapt lanimation.Les modles de visage varient normment dun modle gomtriquesimple un modle bas sur lanatomie.Facteurs importants lors de la construction du modle :Mthode dacquisition des donnes gomtriques reprsentantla gomtrie effective de la tte.Contrle du mouvement et mthode dacquisition des donnescorrespondantesQualit du rendu de limageQualit correspondante du mouvement obtenu aprs calculs.Mthode au moyen de laquelle les donnes dcrivant lesmodifications apportes la gomtrie sont obtenues.

Exemple :Une animation de type dessin animune simple forme gomtrique pour la tte(une sphre par ex.) avec des textures;les yeux et la bouche peuvent tre anims aumoyen dune srie de textures appliques la forme simple;le nez et les oreilles peuvent faire partie de la gomtrie de la tte,ou, plus simplement, tre incorpors la texture;la bouche peut tre un lment gomtrique distinct plac lasurface de la gomtrie du visage;

elle peut tre anime de manire indpendante ou remplacesquentiellement par une srie de formes de la bouche de faon simuler le mouvement des lvres.etc.

Mthodes utilises pour traiter de la gomtrie du modle1.Modles polygonauxLes plus couramment utiliss pour leur simplicit.Relativement faciles crer et dformer.Infrieurs dun point de vue visuel dautres mthodes demodlisation de la surface du visage.Les mthodes dacquisition de donnes chantillonnent uniquementla surface pour produire des donnes discrtes et des techniquesdajustement de surface sont appliques ensuite.Frederic I. Parke, NY Institute of TechnologyUne extension de ces modles reprsente unvisage laide dun ensemble de maillages3D au lieu dun seul (dents, bouche, yeux, ).

2.Modles bass sur des surfaces de contrlePrivilgis lorsquune surface lisse est dsire.On utilise habituellement des surfaces bicubiques, des surfaces deBzier ou des B-splines.Complexit faible en termes de donnes p / r aux techniquespolygonales.Se servant dune grille de points de contrle, il est difficile deconserver une complexit faible en termes de donnes tout enincorporant de petits dtails.Un simple ajout une rgion locale pour mieux reprsenterun trait du visage exige lajout dinformations sur la totalitde la surface.-

3.Modles bass sur des techniques de subdivisionB-splines hirarchiques (Forsey & Bartels, SIGGRAPH88).Des dtails locaux peuvent tre ajouts une surface B-spline tout envitant les modifications globales requises par les B-splines standards.Des points de contrle de rsolution plus fine sont soigneusementrpartis sur la surface plus grossire tout en maintenant la continuit.Lorganisation est hirarchique et, par consquent, des dtails de plusen fins peuvent tre ajouts.

4.Modles bass sur des surfaces implicitesDe tels modles deviennent, en rgle gnrale, trop complexes dsque lanimateur cherche traiter des petits dtails.Approches intressantes si le photoralisme nest pas lobjectif viset si une caricature ou un modle de type dessin anim est recherch.Lanimation de ces modles reste un dfi relever.5.Modles bass sur des NURBSOn peut raliser dexcellents maillages en utilisant des volumesparfaitement arrondis quon peut raliser laide de NURBS.

6.Modles bass sur la runion de surfaces rglesLes surfaces rgles reprsentent une fonction qui relie entre elles lesdiffrentes sections dun volume.Il sagit de crer laide dun modeleur une srie de sectionstransversales ou de profils sagittaux.Jean Dif, Modlisation du corps humain.Vuibert, 1998, 355p.

Diffrentes approches de construction du modleSystme de CAO o on laisse lutilisateur construire le modleEfficace dans le cas dune crature imaginaire ou une caricatureou lorsquil doit rpondre des critres de conception esthtiquesprcis.Si cette approche donne lartiste une libert maximale pour crerson modle, elle exige en revanche une comptence accrue.La numrisation partir dune sculpture physique de lobjetgnre avec de largile, du bois ou du pltreUtile si lon souhaite raliser le modle dune personne prcise.Dispositif de numrisation mcanique ou magntique :Une grille de coordonnes 2D est trac sur le modle physique et les polygones sont numriss un un.Le processus de numrisation peut tre trs laborieux si ungrand nombre de polygones sont concerns par lopration.Exige un talent artistique pour gnrer le modle physique.

Scanners laser :Utilisent un rayon laser pour calculer la distance jusqu lasurface dun modle.Capables de crer des modles trs prcis.Permettent la numrisation directe du visage dune personne.Ils chantillonnent la surface intervalles rguliers.Un maillage est alors construit partir de ces points.Permettent aussi denregistrer des informations de couleur quipeuvent tre utilises pour gnrer une texture laquelle cachesouvent des dfauts du modle et du mouvement.Ils sont coteux, encombrants et exigent un modle physique.

Gnration de modles partir de photosNexige pas la prsence physique du modle une fois la photo prise.Consiste prendre des photos de face et de profil dun visage surlequel une grille a t trace.Des correspondances entre points peuvent tre tablies entre lesimages soit de manire interactive, soit en reprant automatiquementdes caractristiques communes.Une grille 3D peut alors trereconstruite.Note :Lhypothse dune symtrie du visage est faite.Une seule vue de profil est ncessaire et seule la moiti de la vue deface est prise en compte.

La modification dun modle gnriqueSi le modle est cr sous la forme dun modle paramtr et queces paramtres ont t bien conus, le modle peut tre utilis pourtre appari un visage particulier, concevoir un visage original ouencore gnrer une famille de visages.Les contrles danimation peuvent tre intgrs au modle de faonquils nexigent que de lgres modifications seulement du modlegnrique pour des instances particulires.Les paramtres du modle sont diviss en 2 catgories :1. Paramtres de conformationParamtres qui permettent de distinguer un visage dun autre.2. Paramtres expressifsParamtres qui concernent lanimation dun visage donn.

Modle de Parke (74)22 paramtres de conformation5 paramtres contrlant la forme du front, de los de la joue,du creux de la joue, du menton et du cou.12 distances dnombres entre les caractristiques du visage :Ex. :Le creux de la joue peut varier de convexe concave;los de la joue peut passer inaperu ou trs prononc. trac lchelle de la tte selon x, y et z, largeur et hauteur des pupilles, largeurs de los du nez et des narines, largeur des mchoires, largeur des joues, proportions verticales :du menton vers la bouche,du menton vers lil,de lil vers le front.On suppose une symtrie du visage.

5 paramtres permettant de dplacer- le menton dans les directions x et z,- lextrmit du nez dans les directions x et z,- les sourcils dans la direction z.Note :Dans le modle de Parke,laxe z est vertical,laxe x est orient de larrire de la tte vers lavant,laxe y part du milieu de la tte pour aller vers le ct gauche.Ces paramtres ne suffisent pas pour gnrer tous les visages possibles,mme sils peuvent tre utiliss pour en gnrer une grande varit.Le modle de Parke na pas t mis au point partir de principesanatomiques mais partir dintuitions provenant de rendus artistiquesdu visage humain.

Construction dun modle gnrique bas sur des donnesanthropomtriquesD. DeCarlo et al., An Anthropometric Face Model using Variational Techniques. SIGGRAPH98.Des donnes anthropomtriques peuvent tre utilises pour contraindrele modle gnrer un visage raliste.L. Farkas. Anthropometry of the Head and Face. Raven Press, 1994.47 points de repre pour dcrire le visage et 132 mesuresVoici quelques-uns dentre eux :Abbrviation du terme danatomie( des diffrences significatives entre les groupes dune population).

Un sous-ensemble des points de repre de Farkas.

Construction dun modle gnrique bas sur la norme MPEG-4Elle comprend un ensemble de paramtres de dfinition du visage :ce sont les points caractristiquesdfinis par cette norme.Il peut tre anim par un ensembleassoci de paramtres danimationdu visage.Lanimation dun visage se fait partir de ce modle dot duneexpression neutre.

Textureslment trs important de lanimation faciale :donne un modle de visage un air plus organique.Comment obtenir une texture approprie ?Les scanners laser sont capables de recueillir desinformations concernant lintensit et la profondeur.-Une fois que le visage commence se dformer, latexture ne correspond plus exactement.-Comme le scanner tourne autour du modle, des zonessont manques l o la tte est masque :- au niveau des oreilles,- du menton,- le sommet du crne. laide de photos en combinant des vues de face et latrales.

Approches de lanimation du visageOn doit considrer les 2 aspects suivants :Simuler laction des muscles du visage pour reprsenter lesexpressions du visage.Considrer les expressions eux-mmes qui doivent reprsenter laparole et les motions.Sourire, clin dil, larme, Note :Une expression du visage est diffrente dun personnage un autre.Un ensemble dexpressions du visage est associ un personnagedonn avec une faon propre dexprimer chaque expression.

Approches de lanimation du visageLanimateur fait face 3 niveaux dabstraction(1) :Paramtres du visage simulant laction des muscles.Expressions particulires dfinies laide de paramtres du visage.Instant o un personnage dgage une expression donne.(1) Tir de N. M. Thalmann & D. Thalmann, Synthetic Actors. Springer-Verlag, 87, 129p.Ex. :Un sourire est une combinaison de 30% de A et 50% de G.Avantages utiliser ce 2ime niveau dabstraction : lutilisation dune expression particulire ne ncessite pas de connatre les dtails de son implantation; une expression particulire peut tre attnue : un facteur dattnuation de 50% amne une rduction de50% de chaque paramtre de lexpression; chaque personnage est associ un ensemble dexpressions qui lui est propre; on peut combiner plusieurs expressions pour en crer une nouvelle.Ex. : un phonme peut tre combin un sourire.

Approche la plus simple :Dfinir un ensemble de poses cls.Procder par interpolation entre les positions des sommetscorrespondant deux poses dune paire donne.Les diffrentes parties du modle facial ne sont pascontrlables individuellement par lanimateur.-

Systme de codage des actions du visage :Lobjectif est de ramener toutes les expressions du visage unensemble de mouvements faciaux de base appels units daction.En combinant ces units daction, on peut dcrire toutes lesexpressions du visage.Exemple : abaissement de sourcil,- lvation de cil, abaissement de la mchoire,- etc.Un systme danimation du visage peut tre construit en introduisantun ensemble de variables associes ces units daction.On peut aussi animer le modle du visage en interpolant les valeursde ces variables.-Ekman & Friesen, Facial Action Coding System. Consulting Psychologists Press, 1978.-Ce systme dcrit des expressions du visage mais pas la parole.Ce systme se veut descripteur dune expression du visage et nongnrateur. Cest un bon point de dpart pour dcrire les mouvementsde base.

-Le paramtrage du modle facial en fonction dactions primitives etle contrle des valeurs de ces paramtres en fonction du temps nousamnent poursuivre les objectifs suivants : une couverture complte des paramtres inclut la majorit des expressions intressantes; pour tre facile utiliser, lensemble des paramtres doit tre rduit autant que possible; leffet de chaque paramtre doit tre indpendant de leffet de tout autre paramtre; leffet de chaque paramtre doit tre intuitif; lanimateur doit tre capable de gnrer des mouvements courants en manipulant quelques paramtres seulement.Atteindre la totalit de ces objectifs nest probablement pas possibleet des choix doivent tre faits.

Modle paramtrique de ParkeEn plus des paramtres de conformation, on considre les paramtresdexpression du modle de Parke.Exemple : la position de la lvre suprieure, le regard, lorientation de la mchoire, la sparation des sourcils,- etc.La plupart des paramtres concernent les yeux et la bouche quiconcentrent la plus large part de lexpression humaine.Modles musculairesModles plus sophistiqus.Muscles du visage vue de faceParke & Waters(1996)

Production de la paroleLe 1er modle anim avec synchronisation dela parole : le film Tony de Peltry en 85.Lipsink est un logiciel pouranalyser en temps rel lesmouvements des lvres dunacteur pour les appliquer sur unvisage synthtique.On procde par interpolation dimages cls.

Modle gomtrique de lvres 3DSusceptible dtre adapt diffrentes formes de lvres, ce modle estdfini par une surface paramtrique 3D construite par interpolationentre des points de contrle.Les points de contrle retenus sont communs nimporte quelle formede lvres humaines rpartis le long de 3 contours : externe, interne etmdian.Note :la dfn du contour interne correspond la limite visible delintrieur de la cavit buccale dans une vue de face.L. Revret & Loc Le Chevalier, Un modle gomtriquede lvres 3D adaptable au locuteur.La surface est engendre par leparcours dune courbe 3D circu-lant du contours externe vers lecontour interne en passant par lecontour mdian.Les points de contrle de chaquecourbe sont calculs par interpo-lation.

Phonmes et motionsLes phonmes constituent les units sonores minimales du langagehumain.Chacun est aussi une expression du visage lie un mouvement etune position donns des lvres, des mchoires et de la langue.Lquivalent visuel du phonme sappelle le visme.Une motion est une expression du visage agissant sur diffrentesparties du visage (ex. : rire, pleurer, ).Tir de Isaac Victor Kerlow, The Art of 3-D Computer Animation and Imaging. Wiley, 2000, 433p.

Les cheveux3 tches raliser :Modlisation de la forme des cheveux :Cration de milliers de cheveux (100 000 150 000) : gomtrie, densit, rpartition, orientation, ondulation naturelle.Mouvement des cheveux, collision avec leur environnement, collisiondun cheveu avec lui-mme, impact du vent, de la gravit,du mouvement de la tte.Rendu :Couleur des cheveux, ombre, lumire spculaire, niveau detransparence, techniques de filtrage permettant de rduire leseffets descalier.Difficults :la quantit de cheveux en moyennele comportement non trivial (hautement dformable)lapparence (friss, onduls, )la structure gomtrique trs fine dun cheveu complique le rendu.contrler chaque cheveu individuellement est impensableproblme de collisions

Les cheveuxLa modlisation, lanimation et le rendu des cheveux restent unproblme ouvert.Exigences satisfaire :Un potentiel de modlisation important afin de pouvoir reprsenterdiffrents styles de coiffure.

On doit tre capable de sattaquer diffrents niveaux de dtails.

Un modle statique est insuffisant car les cheveux sont dformableset continuellement en mouvement.Produire des images ralistes dans des dlais raisonnables.

Des modles de rendu ajustables de sorte quune augmentation dutemps de rendu devrait entraner une meilleure qualit de limage,tout cela sous le contrle de lanimateur.

Simuler le mouvement de chaque cheveu individuel, linteraction entre les cheveux eux-mmes, linteraction entre les cheveux et dautres objets.Les 3 composantes de modlisation, rendu et animation doivent treintgres dans un mme systme.

Chaque composante facilite la tche des deux autres.

Modlisation de la forme des cheveux1.Lanimateur dfinit quelques cheveux avec leurs caractristiquespropres en 3D et le systme se charge de complter la chevelure ense basant sur les cheveux dfinis par lanimateur.Linterface graphique disponible permet de tracer une seule courbe3D ou un cylindre gnralis sur chaque triangle du maillage crnien.Des paramtres tels que la densit, la rpartition des cheveux, ...sont associs chaque triangle.Pour viter que les caractristiques des cheveuxdun triangle soient constants, des facteursalatoires sont introduits.-Approche ennuyeuse : 5-10 heures dans cet exemple.Mouvement coteux numriquement.

2.Lanimateur considre une touffe de cheveux au lieu de cheveuxindividuels.Tir de Watanabe, Y., & Suenaga, Y. A trigonal prism-based method for hair image generation.IEEE CG & A 12, 1, 1992, 47-53.Chaque cheveu est obtenu en combinant plusieurs prismes bout bout.M = 3= 0mme directiontouffeun cheveuun prismeCes paramtres peuvent gnrer diffrentes formes de chevelure(cheveux droits, onduls, friss).

Des facteurs alatoires peuvent aussi tre introduits.PERTURBATIONSlevesfaiblesTir de Lieu-Hen Chen, Santi Saeyor, Hiroshi Dohi, Mitsuru Ishizuka. A system of 3D hair style synthesis based on the wisp model. The Visual Computer, 1999, pp. 159-170.Les prismes sont dfinis laide de 3courbes B-splines 3D.

3.Les cheveux sont modliss sous formede bandes.Chaque bande est reprsente laidedune surface paramtrique(des NURBS en particulier).Lors de laffichage, on considre pluttun maillage de chaque surface.interpolationimage # 1image # 2Le mouvement des cheveux est obtenu en bougeant les points decontrle des surfaces paramtriques.Chuan Koon Koh & Zhiyong Huang, Modeling and Animation of Human Hair in Strips.

4.Dautres approches Des volumes de texture pour modliser la fourrure.Des modles bass sur le comportement des fluides.Tir de James T. Kajiya, Timothy L. Kay, Rendering Fur with three dimensional textures. SIGGRAPH89, pp. 271- 280.Tir de Sunil Hadap & Nadia Magnenat-Thalmann, Modeling Dynamic Hair as a Continuum. EUROGRAPHICS 2001,Vol. 20, Number 3.Des structures hirarchiques pour reprsenter diffrents niveaux dedtails.

RfrencesFrederic I. Parke & Keith Waters, Computer Facial Animation.A K Peters, 1996, 365p.Tae-Yong Kim, Modeling, rendering and animating human hair.Thse de doctorat, dcembre 2002, 137p.Rick Parent, ANIMATIQUE Algorithmes et techniques. Vuibert,2003, section 6.3, pp. 346-360.