Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction

iMAGIS-GRAVIR / IMAG

ModModélisation de cheveux élisation de cheveux à partir d’images par étude à partir d’images par étude

des variations d’apparence en fonctiondes variations d’apparence en fonctiondes conditions d’éclairagedes conditions d’éclairage

ModModélisation de cheveux élisation de cheveux à partir d’images par étude à partir d’images par étude

des variations d’apparence en fonctiondes variations d’apparence en fonctiondes conditions d’éclairagedes conditions d’éclairage

iMAGIS est un projet commun CNRS–INPG–INRIA-UJF

AFIG 2001

Stéphane GrabliStéphane GrabliStéphane GrabliStéphane Grabli François SillionFrançois SillionFrançois SillionFrançois Sillion

ButButButBut

Acquérir un modèle 3D des cheveux d’un Acquérir un modèle 3D des cheveux d’un sujet spécifique à partir de photographies.sujet spécifique à partir de photographies.

PlanPlanPlanPlan

IntroductionIntroduction

Etat de l’artEtat de l’art

Illustration de la méthodeIllustration de la méthode

RésultatsRésultats ConclusionConclusion

• But: maquette virtuelle d’un individu en But: maquette virtuelle d’un individu en vue d’un rendu interactif permettant vue d’un rendu interactif permettant l’identification visuellel’identification visuelle

• Applications: visioconférence, jeux Applications: visioconférence, jeux vidéosvidéos

• But: maquette virtuelle d’un individu en But: maquette virtuelle d’un individu en vue d’un rendu interactif permettant vue d’un rendu interactif permettant l’identification visuellel’identification visuelle

• Applications: visioconférence, jeux Applications: visioconférence, jeux vidéosvidéos

Shag Hair de Digimation (pour 3DS-Max)www.digimation.com

www.cyberware.com

MotivationsMotivationsMotivationsMotivations

• Complexité de la Complexité de la géométrie des cheveux géométrie des cheveux (échelle, nombre)(échelle, nombre)

• Echec des techniques Echec des techniques classiques de classiques de numérisation 3Dnumérisation 3D

• Problème non résoluProblème non résolu

• Complexité de la Complexité de la géométrie des cheveux géométrie des cheveux (échelle, nombre)(échelle, nombre)

• Echec des techniques Echec des techniques classiques de classiques de numérisation 3Dnumérisation 3D

• Problème non résoluProblème non résolu

ProblématiqueProblématiqueProblématiqueProblématique

• Etude de la réflectance, sur des Etude de la réflectance, sur des images, pour en extraire la géométrieimages, pour en extraire la géométrie

• SSujet fixe, point de vue fixe et source ujet fixe, point de vue fixe et source lumineuse mobile.lumineuse mobile.

• Etude de la réflectance, sur des Etude de la réflectance, sur des images, pour en extraire la géométrieimages, pour en extraire la géométrie

• SSujet fixe, point de vue fixe et source ujet fixe, point de vue fixe et source lumineuse mobile.lumineuse mobile.

Approche choisieApproche choisieApproche choisieApproche choisie

PlanPlanPlanPlan

Etat de l’artEtat de l’artEtat de l’artEtat de l’art

Modélisation de cheveux à partir Modélisation de cheveux à partir d’imagesd’images

• modélisation géométrique d’un volume modélisation géométrique d’un volume de cheveux [MN]de cheveux [MN]

Modélisation de cheveux à partir Modélisation de cheveux à partir d’imagesd’images

• modélisation géométrique d’un volume modélisation géométrique d’un volume de cheveux [MN]de cheveux [MN]

Modèle d’éclairement du cheveuModèle d’éclairement du cheveu

• Kajiya, KayKajiya, Kay [KK89][KK89]

• Goldman [Gol97]Goldman [Gol97]

PlanPlanPlanPlan

Contrôle et connaissance des Contrôle et connaissance des positions de caméra et de positions de caméra et de lumièrlumièree

• Système d’acquisition deSystème d’acquisition de StanfordStanford

Précision au pixel:Précision au pixel: méthodologieméthodologie

• Sujet: perruqueSujet: perruque

Contrôle et connaissance des Contrôle et connaissance des positions de caméra et de positions de caméra et de lumièrlumièree

• Système d’acquisition deSystème d’acquisition de StanfordStanford

Précision au pixel:Précision au pixel: méthodologieméthodologie

• Sujet: perruqueSujet: perruque

Acquisition des donnéesAcquisition des donnéesAcquisition des donnéesAcquisition des données

MéthodeMéthodeMéthodeMéthode

Extraction des directions de mèches dans chaque image

Construction d’un masque de vecteurs pour la séquence

Reconstruction 3D des vecteurs

Construction de mèches 3D

Extraction des directions de mèches Extraction des directions de mèches dans chaque imagedans chaque image

• Dans 1 pixel ~ 1 mècheDans 1 pixel ~ 1 mèche

• Extraction de la direction Extraction de la direction de cette mèchede cette mèche

• Dans 1 pixel ~ 1 mècheDans 1 pixel ~ 1 mèche

• Extraction de la direction Extraction de la direction de cette mèchede cette mèche

Construction d’un masque de Construction d’un masque de vecteurs pour la séquencevecteurs pour la séquence

pp pppp

Pixel p

{ t0, t1, ..., tn }

pp pppp

Pixel p

{ t0, t1, ..., tn }

bruitbruitbruitbruit

• 1er test1er test: nombre : nombre de vecteurs de la de vecteurs de la collectioncollection

• 2ème test2ème test: : variance en angle des variance en angle des vecteursvecteurs

NONNONNONNON

OUIOUI

NONNON

Pixel p0Pixel p0

Génération des vecteurs 3D candidats

Centre optique de la caméra

• Informations géométriques sur T• Informations géométriques sur T

Plan TT

Plan TTVecteurs 3D candidats

Les profils de pixel mesurésLes profils de pixel mesurés

• Informations de réflectance sur T• Informations de réflectance sur T

pppppppp

ppppProfil de

pixelmesuré(courbe

Profil de pixel

mesuré(courbe

0000 1111

0 1 2 ... 0 1 2 ... nn0 1 2 ... 0 1 2 ... nn 0 0

nn0 0 nn

255255255255

• Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée

Synthèse des profils de pixel théoriques

• Pb: ombre mesurée mais pas modélisée

• 2 solutions: - compléter le modèle ([Ban94], [Gol97])

- tronquer les mesures

• Pb: ombre mesurée mais pas modélisée

• 2 solutions: - compléter le modèle ([Ban94], [Gol97])

- tronquer les mesures

Etude de corrélationEtude de corrélation

• Comment mesurer cette corrélation ?

• Introduction d’une fonction d’énergie:

• Choix du minimum des Edist

• Cas OK:

Election et mesure de confianceElection et mesure de confiance

• Cas problématiques• Cas problématiques

Coefficient de confianceCoefficient de confiance

Affinage du masque de vecteurs 3DAffinage du masque de vecteurs 3D

Construction de mèchesConstruction de mèches

• Dans l’espace image

• Méthode inspirée des contours adaptatifs

• Dans l’espace image

• Méthode inspirée des contours adaptatifs

• Masque de vecteurs 3D + mèches 2D -> mèches 3D• Masque de vecteurs 3D + mèches 2D -> mèches 3D

Construction de mèchesConstruction de mèches

PlanPlanPlanPlan

1 séquence d’images1 séquence d’images

plusieurs séquences d’imagesplusieurs séquences d’images

PlanPlanPlanPlan

ConclusionConclusion

• Contributions - Nouvelle approche du problème de l’acquisition de modèle 3D de cheveux - Résultats répondent à notre attente

• Limitations - positionnement des vecteurs de cheveux 3D approximatif

• Travaux futurs - Analyse géométrique ([MN]) couplée à l’étude de la réflectance - Modèle + rendu interactif

• Contributions - Nouvelle approche du problème de l’acquisition de modèle 3D de cheveux - Résultats répondent à notre attente

• Limitations - positionnement des vecteurs de cheveux 3D approximatif

• Travaux futurs - Analyse géométrique ([MN]) couplée à l’étude de la réflectance - Modèle + rendu interactif

Merci...

Questions ?

Merci...

Questions ?

• Paramètres du modèle:

- T, L , E

connuconnuconnuconnudépendent de dépendent de PPdépendent de dépendent de PP

- T, L , E

connuconnuconnuconnudépendent de dépendent de PPdépendent de dépendent de PP

• Approximation: Ellipsoïde pour simuler la surface descheveux.

• P = intersection (Ellipsoïde, rayon p->oeil)

• Approximation: Ellipsoïde pour simuler la surface descheveux.

• P = intersection (Ellipsoïde, rayon p->oeil)

ImageCentre optique

• Représentations explicites

[VW97] An Interactive fur modeling techniqueA.V. Gelder, J. Wilhelms

[WS92] utilise un prisme trigonal pour modéliser un cylindre

ReprésentationsEtat de l’art

• Représentations alternatives:- Texels – [KK89], [MN98], [Len00a],

[Len00b]Texels

reference volume

[Len00b] Real-time fur over arbitrary surfaces,Jed Lengyel

[MN98] Interactive volumetric textures, A. Meyer, F. Neyret

[Len00b] Real-time fur over arbitrary surfaces, Jed Lengyel [KK89], Rendering fur with three

dimensional textures, J.T.Kajiya T.L.Kay

• Algorithmes issus du « Shape from Shading » non applicables

• Shape from Shading (Artificial Intelligence Series) par Berthold K.P. Horn, Michael J. Brooks

http://www.eerie.fr/~vision/alquier/Work/shape.html

RemarqueEtat de l’art

Notre méthode

• Filtre de Sobel horizontal:

• Filtre de Sobel vertical:

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

• Implémentation: algorithme k-mean

• Particularité: regroupement dans l’espace TLS, en utilisant L, calcul des nouveaux centres dans l’espace RGB

Reconstruction 3D des vecteursSynthèse des profils de pixel

théoriques

Résultats

• Ks, Kd: liés aux couleurs du matériau

• Extraction de 3 couleurs sur la séquence: diffus, spéculaire, ombre: - Segmentation sur chaque image - Moyennes

Reconstruction 3D des vecteursSynthèse des profils de pixel

théoriques

• Edist = Eextrema + Eshape• Edist = Eextrema + Eshape

Ke x (\x1 – x2\)rKe x (\x1 – x2\)r

• Eextrema si on a 1 maximum de part et d’autre (x1 et x2 leurs abscisses)• Eextrema si on a 1 maximum de part et d’autre (x1 et x2 leurs abscisses)

• Edist = Eextrema + Eshape• Edist = Eextrema + Eshape

| fm(x) – ft(x) | dx| fm(x) – ft(x) | dx

IvIvIvIv

~~~~ ~~~~

• Eshape mesure l’amplitude moyenne de l’écart entre les deux courbes fm(x) et ft(x)• Eshape mesure l’amplitude moyenne de l’écart entre les deux courbes fm(x) et ft(x)

• Cas OK:

ExemplesExemples

• Cas problématiques• Cas problématiques ExempleExemple

???? ????

• Coefficient de confiance• Coefficient de confiance

• Pour un pixel, on élit un vecteur 3D et on lui attribut un coefficient de confiance:

- Ctrust = 0 si n minima != 1

- Ctrust = K x (Aire valide du profil de pixel mesuré + Amplitude des variations de Edist), si n minima = 1

• Pour un pixel, on élit un vecteur 3D et on lui attribut un coefficient de confiance:

- Ctrust = 0 si n minima != 1

- Ctrust = K x (Aire valide du profil de pixel mesuré + Amplitude des variations de Edist), si n minima = 1

ContributionsContributions

• Nouvelle approche du problème de l’acquisition de modèle 3D de cheveux

• Résultats répondent à notre attente

• Nouvelle approche du problème de l’acquisition de modèle 3D de cheveux

• Résultats répondent à notre attente

LimitationsLimitations

• positionnement des vecteurs de cheveux 3D approximatif• positionnement des vecteurs de cheveux 3D approximatif

Travaux futursTravaux futurs

• A terme: analyse géométrique ([MN]) couplée à l’étude de la réflectance

• Modèle + rendu interactif

• A terme: analyse géométrique ([MN]) couplée à l’étude de la réflectance

• Modèle + rendu interactif

[KK89], Rendering fur with three dimensional textures, J.T.Kajiya T.L.Kay

specular (P) + diffuse (P)

diffuse (P) = Kd sin(T, L)

specular (P) + diffuse (P)

diffuse (P) = Ks cosp(E, E’)

• DirectionnalitéDirectionnalité [Gol97][Gol97]

fdir (specular (P) + diffuse (P))

Seuillage en amplitude

Rotation de 90degrés

• Corrélation porte sur la forme, les maxima

Edist = Eextrema + Eshape

Ke x (\x1 – x2\)rKe x (\x1 – x2\)r

| fm(x) – ft(x) | dx| fm(x) – ft(x) | dx

Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction

Documents

Recalage et fusion d’images médicales

Traitement d’images

Introduction à la Synthèse d’images (2)

Eléments du cours de retouche d’images

Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

HALLOWEEN … le Il Était Une Fois… Une Étrange Et grande Maison… D’apparence Paisible…

Strategie´ d’exploration en recherche d’images par similarite´

QIR : Logiciel de traitement d’images

Outils de mod élisation de la propagation coupl ée sol

Synthèse d’images 3. Texture

Etude d’images de propagande - pedagogie.ac-limoges.frpedagogie.ac-limoges.fr/lhlp/IMG/pdf/IMAGE_PRO... · la quatrième république Etude d’images de propagande ... Manuel Histoire

Ecrire partir partir d’images s quentielles

REHAUSSEMENT ET RESTAURATION D’IMAGES Cours 5

Cours de Traitement d’Images - isir.upmc.fr · 5 Exemples d’images aériennes et satellitaires Transparent 17 Imagerie classique (visible) Imagerie radar (SAR) Exemples d’images

Graphes en analyse d’images, vision, reconnaissance

ESE22 "Formation, Capture et Restitution d’images"

Segmentation d’images ultrasonores 3D de fœtus

Techniques d’impression d’images numérisées.PDF

Fascicule d’accompagnement – Retouche d’images 1

Ecrire à partir d’images séquentielles au CP