59
*iMAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard C louds Xavier Décoret * Frédo Durand ° François Sillion *

*i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

Embed Size (px)

Citation preview

Page 1: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

*iMAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston

iMAGIS-GRAVIR / IMAG

Billboard Clouds

Xavier Décoret*

Frédo Durand°

François Sillion*

Page 2: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Introduction•Complexité croissante

•Dépassement des capacités d’affichage

• Il faut simplifier– Réduire la complexité– Utiliser des représentations alternatives

•Mais pas que difficulté d’affichage.– Problème d’aliassage

Page 3: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Simplification de maillage•De nombreuses méthodes performantes

•Marche bien sur des maillages

•Difficulté de gérer les textures– Appearance-Preserving [Cohen98]– Silhouette Clipping [Sander00]

•Erreur géométrique vs. fidélité visuelle– Image-Driven Simplification [Lindstrom2000]

Page 4: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Représentation alternatives•Le polygone s’est imposé

– Surtout comme primitive de modélisation– Et aussi comme primitive de rendu

• Image Based Rendering– Textures [Oliveira00]– Imposteurs [Decoret99]– Lightfield [Levoy96]

•Point Based Rendering– Surfels [Pfister01]

Page 5: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Représentation•Une information de forme

– Élimination des parties cachées– Parallaxe

•Une information d’apparence– Couleur– Modèle d’éclairage

Page 6: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Utilisation•Générer des images

•Ombres

•Calcul d’éclairage

•Calcul de collision

Page 7: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Problèmes

•Simplification extrême: pas de solution

•Beaucoup d’intervention manuelle

•Pas de méthodes pour certains modèles

Page 8: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Billboard Cloud•Nouvelle représentation

•Des plans pour représenter la forme

•Des textures pour l’apparence

Page 9: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Principe

modèle polygonal 3D

Page 10: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Principe

Simplification par des plans

Page 11: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Principe•Déplacer les sommets

Domaine de validité

P

Page 12: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Principe•Projeter les polygones sur des plans

Polygone

Plan valide

Page 13: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Principe•Combien de plans? Quels plans?

Page 14: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Aperçu

•C’est un problème d’optimisation– algorithme glouton

•Mesurer l’intérêt des plans– définition de la densité

•Considérer l’ensemble des plans– discrétisation

•Choisir un ensemble de plan– Raffinement

Page 15: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Aperçu

•C’est un problème d’optimisation– algorithme glouton

•Mesurer l’intérêt des plans– définition de la densité

•Considérer l’ensemble des plans– discrétisation

•Choisir un ensemble de plan– Raffinement

Page 16: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Formalisation•Pour un Billboard Cloud, on définit

– Une fonction d’erreur– Une fonction de coût

•Deux stratégies possibles– Orientée budget

coût fixé minimiser l’erreur

– Orientée erreurerreur maxi fixée minimiser le coût

Page 17: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Formalisation•Pour un Billboard Cloud, on définit

– Une fonction d’erreur– Une fonction de coût

•Deux stratégies possibles– Orientée budget

coût fixé minimiser l’erreur

– Orientée erreurerreur maxi fixée minimiser le coût

Page 18: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Formalisation•Fonction de coût

– Le nombre de plans– La taille des textures

•Fonction d’erreur– Déplacement du sommet

• Dans l’espace objet (view independent)• Dans l’espace image (view dependent)

Page 19: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Aperçu•C’est un problème d’optimisation

– algorithme glouton

•Mesurer l’intérêt des plans– définition de la densité

•Considérer l’ensemble des plans– discrétisation

•Choisir un ensemble de plan– Raffinement

Page 20: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Fonction de densité

•L’importance d’un plan est évaluée en utilisant une densité dans l’espace des plans

•Combien de polygones peut remplacer un plan?

Page 21: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Validité

•Plan valide pour un polygone

• Importance d’un plan = nb de polygones valides

Page 22: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Contribution

•Pondération par l’aire projetée– Favorise les grandes faces– Favorise les plans parallèles aux faces

Page 23: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Contribution

• Pondération par l’aire projetée– Favorise les grandes faces– Favorise les plans parallèles aux faces

Page 24: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Contribution

• Pondération par l’aire projetée– Favorise les grandes faces– Favorise les plans parallèles aux faces

Page 25: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Pénalité

•Favoriser les plans tangents

Page 26: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Pénalité

•Favoriser les plans tangents

Page 27: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Pénalité

•Favoriser les plans tangents

n

Page 28: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Pénalité

•Favoriser les plans tangents

n

Page 29: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Pénalité

Page 30: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Densité

• si valide alors

• somme pondéré de contribution et validité

Page 31: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Aperçu

•C’est un problème d’optimisation

•Mesurer l’intérêt des plans– définition de la densité

•Considérer l’ensemble des plans– discrétisation

•Choisir un ensemble de plan– algorithme glouton

Page 32: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Discrétisation

•Discrétisation de l’espace des plans

•Paramétrisation de Hough

ρ

φ

θ(θ,φ)

O

ρ

primal dual

H

Page 33: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Espace dual•plans passant par un point une nappe

φθ

ρ

Page 34: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Espace dual

• Pour un point:plans valides = tranche

φθ

ρ

Page 35: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Espace dual

• Pour un point:plans valides = tranche

φθ

ρ

Page 36: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Espace dual

• Pour un point:plans valides = tranche

• pour un triangle: intersection de 3 tranches

φθ

ρ

Page 37: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Espace dual

• Pour un point:plans valides = tranche

• pour un triangle: intersection de 3 tranches

• Discrétisation uniforme

φθ

ρ

Page 38: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Espace dual

• Pour un point:plans valides = tranche

• pour un triangle: intersection de 3 tranches

• Discrétisation uniforme

φθ

ρ

Page 39: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Densité cumulée

Page 40: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Aperçu•C’est un problème d’optimisation

– algorithme glouton

•Mesurer l’intérêt des plans– définition de la densité

•Considérer l’ensemble des plans– discrétisation

•Choisir un ensemble de plan– Raffinement

Page 41: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Algorithme glouton

• C case de densité max

• E ensemble des faces valides

• Tant que le plan central de C non valide pour E

– subdiviser C et ses voisines

– Calculer localement une densité pour ces sous cases

– C sous-case de densité max

– E ensemble des faces (de E) valides

• Mettre à jour les densités

• Créer un Billboard avec le plan central et E

Page 42: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Raffinement

Page 43: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Raffinement

valid(f1)

valid(f2)

B

Page 44: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Raffinement

valid(f1)

valid(f2)

Page 45: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Raffinement

valid(f1)

valid(f2)

Page 46: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Raffinement

valid(f1)

valid(f2)

Page 47: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Raffinement

valid(f1)

Page 48: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Raffinement

valid(f1)

Page 49: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Raffinement & voisins

Page 50: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Raffinement & voisins

Page 51: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Génération des textures

•A chaque plan est associé un ensemble de faces

•Projection orthogonale sur le plan

•Rectangle englobant minimal (CGAL)

•Rendu orthogonal texture

Page 52: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Résultats

•Films

•Démo

Page 53: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Extension View-dependent

• Erreur de reprojection

P-

M P+

Viewcell

V

T

θ

Page 54: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Extension View-dependent

•Textures rendues à partir du centre de la cellule

•Choix automatique de la résolution

•Sauvegarde la matrice de projection

Page 55: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Résultats

Près

zoom

vue de la cellule

billboard cloud modèle polygonal

Page 56: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Résultats

Moyen

zoom

vue de la cellule

billboard cloud modèle polygonal

Page 57: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Résultats

Loin

zoom

vue de la cellule

billboard cloud modèle polygonal

Page 58: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Conclusion

•Nouvelle représentation

•Algorithme de construction

•Soupe de polygones

•Applications multiples

Page 59: *i MAGIS is a joint project of CNRS - INPG - INRIA - UJF °Graphics Labs, MIT, Boston iMAGIS-GRAVIR / IMAG Billboard Clouds Xavier Décoret * Frédo Durand

iMAGIS-GRAVIR / IMAG

Travaux Futurs

•Optimiser l’utilisation des textures

•Transition

•Objets en mouvement

•Utilisation pour – Des ombres– Du calcul de collision