Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction

iMAGIS-GRAVIR / IMAG

ModModélisation de cheveux élisation de cheveux à partir d’images par étude à partir d’images par étude

des variations d’apparence en fonctiondes variations d’apparence en fonctiondes conditions d’éclairagedes conditions d’éclairage

ModModélisation de cheveux élisation de cheveux à partir d’images par étude à partir d’images par étude

des variations d’apparence en fonctiondes variations d’apparence en fonctiondes conditions d’éclairagedes conditions d’éclairage

iMAGIS est un projet commun CNRS–INPG–INRIA-UJF

AFIG 2001

Stéphane GrabliStéphane GrabliStéphane GrabliStéphane Grabli François SillionFrançois SillionFrançois SillionFrançois Sillion


ButButButBut

Acquérir un modèle 3D des cheveux d’un Acquérir un modèle 3D des cheveux d’un sujet spécifique à partir de photographies.sujet spécifique à partir de photographies.

Acquérir un modèle 3D des cheveux d’un Acquérir un modèle 3D des cheveux d’un sujet spécifique à partir de photographies.sujet spécifique à partir de photographies.


PlanPlanPlanPlan

IntroductionIntroduction

Etat de l’artEtat de l’art

Illustration de la méthodeIllustration de la méthode

RésultatsRésultats ConclusionConclusion






• But: maquette virtuelle d’un individu en But: maquette virtuelle d’un individu en vue d’un rendu interactif permettant vue d’un rendu interactif permettant l’identification visuellel’identification visuelle

• Applications: visioconférence, jeux Applications: visioconférence, jeux vidéosvidéos

• But: maquette virtuelle d’un individu en But: maquette virtuelle d’un individu en vue d’un rendu interactif permettant vue d’un rendu interactif permettant l’identification visuellel’identification visuelle

• Applications: visioconférence, jeux Applications: visioconférence, jeux vidéosvidéos

Shag Hair de Digimation (pour 3DS-Max)www.digimation.com

www.cyberware.com

MotivationsMotivationsMotivationsMotivations


• Complexité de la Complexité de la géométrie des cheveux géométrie des cheveux (échelle, nombre)(échelle, nombre)

• Echec des techniques Echec des techniques classiques de classiques de numérisation 3Dnumérisation 3D

• Problème non résoluProblème non résolu

• Complexité de la Complexité de la géométrie des cheveux géométrie des cheveux (échelle, nombre)(échelle, nombre)

• Echec des techniques Echec des techniques classiques de classiques de numérisation 3Dnumérisation 3D

• Problème non résoluProblème non résolu

ProblématiqueProblématiqueProblématiqueProblématique


• Etude de la réflectance, sur des Etude de la réflectance, sur des images, pour en extraire la géométrieimages, pour en extraire la géométrie

• SSujet fixe, point de vue fixe et source ujet fixe, point de vue fixe et source lumineuse mobile.lumineuse mobile.

• Etude de la réflectance, sur des Etude de la réflectance, sur des images, pour en extraire la géométrieimages, pour en extraire la géométrie

• SSujet fixe, point de vue fixe et source ujet fixe, point de vue fixe et source lumineuse mobile.lumineuse mobile.

Approche choisieApproche choisieApproche choisieApproche choisie


PlanPlanPlanPlan










Etat de l’artEtat de l’artEtat de l’artEtat de l’art

Modélisation de cheveux à partir Modélisation de cheveux à partir d’imagesd’images

• modélisation géométrique d’un volume modélisation géométrique d’un volume de cheveux [MN]de cheveux [MN]

Modélisation de cheveux à partir Modélisation de cheveux à partir d’imagesd’images

• modélisation géométrique d’un volume modélisation géométrique d’un volume de cheveux [MN]de cheveux [MN]



Modèle d’éclairement du cheveuModèle d’éclairement du cheveu

• Kajiya, KayKajiya, Kay [KK89][KK89]

• Goldman [Gol97]Goldman [Gol97]



• Goldman [Gol97]Goldman [Gol97]


PlanPlanPlanPlan










Contrôle et connaissance des Contrôle et connaissance des positions de caméra et de positions de caméra et de lumièrlumièree

• Système d’acquisition deSystème d’acquisition de StanfordStanford

Précision au pixel:Précision au pixel: méthodologieméthodologie

• Sujet: perruqueSujet: perruque

Contrôle et connaissance des Contrôle et connaissance des positions de caméra et de positions de caméra et de lumièrlumièree

• Système d’acquisition deSystème d’acquisition de StanfordStanford

Précision au pixel:Précision au pixel: méthodologieméthodologie

• Sujet: perruqueSujet: perruque

Acquisition des donnéesAcquisition des donnéesAcquisition des donnéesAcquisition des données


MéthodeMéthodeMéthodeMéthode

Extraction des directions de mèches dans chaque image

Construction d’un masque de vecteurs pour la séquence

Reconstruction 3D des vecteurs

Construction de mèches 3D








Extraction des directions de mèches Extraction des directions de mèches dans chaque imagedans chaque image


• Dans 1 pixel ~ 1 mècheDans 1 pixel ~ 1 mèche

• Extraction de la direction Extraction de la direction de cette mèchede cette mèche

• Dans 1 pixel ~ 1 mècheDans 1 pixel ~ 1 mèche

• Extraction de la direction Extraction de la direction de cette mèchede cette mèche











Construction d’un masque de Construction d’un masque de vecteurs pour la séquencevecteurs pour la séquence


pp pppp

pppp

Pixel p

{ t0, t1, ..., tn }




pp pppp

pppp

Pixel p

{ t0, t1, ..., tn }

bruitbruitbruitbruit




• 1er test1er test: nombre : nombre de vecteurs de la de vecteurs de la collectioncollection

• 1er test1er test: nombre : nombre de vecteurs de la de vecteurs de la collectioncollection

• 2ème test2ème test: : variance en angle des variance en angle des vecteursvecteurs

• 2ème test2ème test: : variance en angle des variance en angle des vecteursvecteurs

NONNONNONNON

OUIOUI

NONNON




Pixel p0Pixel p0







Génération des vecteurs 3D candidats


Image

t

Centre optique de la caméra

• Informations géométriques sur T• Informations géométriques sur T




Image

t


Plan TT





Image

t


Plan TTVecteurs 3D candidats



Les profils de pixel mesurésLes profils de pixel mesurés

• Informations de réflectance sur T• Informations de réflectance sur T

pppppppp

ppppProfil de

pixelmesuré(courbe

RGB)

Profil de pixel

mesuré(courbe

RGB)

0000 1111

nnnn

0 1 2 ... 0 1 2 ... nn0 1 2 ... 0 1 2 ... nn 0 0

nn0 0 nn

255255255255

00 00


• Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée


Synthèse des profils de pixel théoriques



• Pb: ombre mesurée mais pas modélisée

• 2 solutions: - compléter le modèle ([Ban94], [Gol97])

- tronquer les mesures

• Pb: ombre mesurée mais pas modélisée

• 2 solutions: - compléter le modèle ([Ban94], [Gol97])

- tronquer les mesures

Etude de corrélationEtude de corrélation


• Comment mesurer cette corrélation ?

• Introduction d’une fonction d’énergie:

Edist



Edist



• Choix du minimum des Edist

• Cas OK:


• Cas OK:

Election et mesure de confianceElection et mesure de confiance


• Cas problématiques• Cas problématiques

(1)

(2)


(3)

Coefficient de confianceCoefficient de confiance




Affinage du masque de vecteurs 3DAffinage du masque de vecteurs 3D






Construction de mèchesConstruction de mèches

• Dans l’espace image

• Méthode inspirée des contours adaptatifs

• Dans l’espace image

• Méthode inspirée des contours adaptatifs


• Masque de vecteurs 3D + mèches 2D -> mèches 3D• Masque de vecteurs 3D + mèches 2D -> mèches 3D

Construction de mèchesConstruction de mèches


PlanPlanPlanPlan










1 séquence d’images1 séquence d’images


plusieurs séquences d’imagesplusieurs séquences d’images


PlanPlanPlanPlan










ConclusionConclusion

• Contributions - Nouvelle approche du problème de l’acquisition de modèle 3D de cheveux - Résultats répondent à notre attente

• Limitations - positionnement des vecteurs de cheveux 3D approximatif

• Travaux futurs - Analyse géométrique ([MN]) couplée à l’étude de la réflectance - Modèle + rendu interactif

• Contributions - Nouvelle approche du problème de l’acquisition de modèle 3D de cheveux - Résultats répondent à notre attente

• Limitations - positionnement des vecteurs de cheveux 3D approximatif

• Travaux futurs - Analyse géométrique ([MN]) couplée à l’étude de la réflectance - Modèle + rendu interactif


Merci...

Questions ?

Merci...

Questions ?






• Paramètres du modèle:

- T, L , E


- T, L , E

PT L

EE’

connuconnuconnuconnudépendent de dépendent de PPdépendent de dépendent de PP







- T, L , E


- T, L , E

PT L

EE’

connuconnuconnuconnudépendent de dépendent de PPdépendent de dépendent de PP


• Approximation: Ellipsoïde pour simuler la surface descheveux.

• P = intersection (Ellipsoïde, rayon p->oeil)

• Approximation: Ellipsoïde pour simuler la surface descheveux.

• P = intersection (Ellipsoïde, rayon p->oeil)

t

ImageCentre optique

p

PL

E




• Représentations explicites

[VW97] An Interactive fur modeling techniqueA.V. Gelder, J. Wilhelms

[WS92] utilise un prisme trigonal pour modéliser un cylindre

ReprésentationsEtat de l’art


• Représentations alternatives:- Texels – [KK89], [MN98], [Len00a],

[Len00b]Texels

reference volume

[Len00b] Real-time fur over arbitrary surfaces,Jed Lengyel

[MN98] Interactive volumetric textures, A. Meyer, F. Neyret




[Len00b] Real-time fur over arbitrary surfaces, Jed Lengyel [KK89], Rendering fur with three

dimensional textures, J.T.Kajiya T.L.Kay


• Algorithmes issus du « Shape from Shading » non applicables

• Shape from Shading (Artificial Intelligence Series) par Berthold K.P. Horn, Michael J. Brooks

http://www.eerie.fr/~vision/alquier/Work/shape.html

RemarqueEtat de l’art



Notre méthode

• Filtre de Sobel horizontal:

• Filtre de Sobel vertical:

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 0 1


• Implémentation: algorithme k-mean

• Particularité: regroupement dans l’espace TLS, en utilisant L, calcul des nouveaux centres dans l’espace RGB

Reconstruction 3D des vecteursSynthèse des profils de pixel

théoriques


Résultats


• Ks, Kd: liés aux couleurs du matériau

• Extraction de 3 couleurs sur la séquence: diffus, spéculaire, ombre: - Segmentation sur chaque image - Moyennes

Reconstruction 3D des vecteursSynthèse des profils de pixel

théoriques


• Edist = Eextrema + Eshape• Edist = Eextrema + Eshape

Ke x (\x1 – x2\)rKe x (\x1 – x2\)r

• Eextrema si on a 1 maximum de part et d’autre (x1 et x2 leurs abscisses)• Eextrema si on a 1 maximum de part et d’autre (x1 et x2 leurs abscisses)



• Edist = Eextrema + Eshape• Edist = Eextrema + Eshape

| fm(x) – ft(x) | dx| fm(x) – ft(x) | dx


IvIvIvIv

~~~~ ~~~~

• Eshape mesure l’amplitude moyenne de l’écart entre les deux courbes fm(x) et ft(x)• Eshape mesure l’amplitude moyenne de l’écart entre les deux courbes fm(x) et ft(x)



• Cas OK:


• Cas OK:


ExemplesExemples



(1)



• Cas problématiques• Cas problématiques ExempleExemple

(1)


???? ????



(1)

(2)




(1)

(2)


(3)



(1)

(2)


(3)

• Coefficient de confiance• Coefficient de confiance


• Pour un pixel, on élit un vecteur 3D et on lui attribut un coefficient de confiance:

- Ctrust = 0 si n minima != 1

- Ctrust = K x (Aire valide du profil de pixel mesuré + Amplitude des variations de Edist), si n minima = 1

• Pour un pixel, on élit un vecteur 3D et on lui attribut un coefficient de confiance:

- Ctrust = 0 si n minima != 1

- Ctrust = K x (Aire valide du profil de pixel mesuré + Amplitude des variations de Edist), si n minima = 1



ContributionsContributions

• Nouvelle approche du problème de l’acquisition de modèle 3D de cheveux

• Résultats répondent à notre attente

• Nouvelle approche du problème de l’acquisition de modèle 3D de cheveux

• Résultats répondent à notre attente


LimitationsLimitations

• positionnement des vecteurs de cheveux 3D approximatif• positionnement des vecteurs de cheveux 3D approximatif


Travaux futursTravaux futurs

• A terme: analyse géométrique ([MN]) couplée à l’étude de la réflectance

• Modèle + rendu interactif

• A terme: analyse géométrique ([MN]) couplée à l’étude de la réflectance

• Modèle + rendu interactif







[KK89], Rendering fur with three dimensional textures, J.T.Kajiya T.L.Kay


P

T L






specular (P) + diffuse (P)

diffuse (P) = Kd sin(T, L)


P

T L

E

E’






specular (P) + diffuse (P)

diffuse (P) = Ks cosp(E, E’)




• DirectionnalitéDirectionnalité [Gol97][Gol97]


• DirectionnalitéDirectionnalité [Gol97][Gol97]

fdir (specular (P) + diffuse (P))

TLE

k > 0

T

L

E

k < 0


Seuillage en amplitude

Rotation de 90degrés




• Corrélation porte sur la forme, les maxima



Edist = Eextrema + Eshape






Ke x (\x1 – x2\)rKe x (\x1 – x2\)r











| fm(x) – ft(x) | dx| fm(x) – ft(x) | dx

Documents

Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction