1 Modélisation 3D de scènes urbaines à partir dimages satellitaires à très haute résolution...

1

Modélisation 3D de scènes urbaines à partir d’images satellitaires à très haute résolution

Nesrine Chehata

Directeur de thèse: Pr. Georges Stamon

Université Paris 5/ SIP-CRIP5

2

Plan

Introduction

Reconstruction de primitives 3D

Optimisation globale hybride

Résultats et évaluations

Conclusion

3

Contexte

Contexte satellitaire très haute résolution

Projet en collaboration avec le CNES

Le futur satellite PLÉIADE

Applications: Cartographie: aménagement, urbanisme, télécommunications… Risques: hydrologiques (inondations), la géologie dynamique. Défense: applications militaires et de sécurité

Contexte de la thèse:

Reconstruction 3D automatique des bâtiments en milieu urbain

4

Données:

Couple stéréoscopique N&B

Résolution [50 cm – 70 cm]

S1 S2

H

B

m1 m2

M

Faible B/H [0.1 – 0.2] Faibles distorsions entre images

Parties cachées réduites

Faible précision altimétrique

Images géoréférencées

Contexte satellitaire THR

Simulations Pléiades 50 cm

Modèle Numérique d’élévation MNE [Baillard 97]

Toute information extraite des images

Des informations externes Réseau routier Limites cadastrales

5

Objectifs

Reconstruction 3D automatique de bâtiments

Possibilité d’introduire des informations externes

Évaluation de la qualité de reconstruction 3D en fonction du B/H

Système automatique pour la modélisation 3D de scènes urbaines

Description dense de la scène

Système ouvert et extensible

Limitations du contexte satellitaire très haute résolution: La résolution des images La stéréoscopie simple: parties cachées, ombres portées,… Faible rapport B/H

6

Reconstruction 3D: État de l’art

Approches - modèles Grande robustesse aux détecteurs de primitives Manque de généralité

Primitives

Modèles

Top-Down

Approches - primitives Très grande généralité Peu de robustesse:

Échec si manque de primitives Problème si sur-détection Primitives

Modèles

Bottom-Up

Stratégie générale: Bottom-Up puis Top-Down = Hypothesize-and-verify

Généralité Règles locales

7

Segments

Segmentations en régions

Reconnaissance &détection Reconstruction 3D

Primitives 3D fiables

Segments 3D

Facettes 3D

MNE hybride raster/vecteur

Optimisation globale 3D contrainte

Méthodologie

Cadastre

Réseau routier 3D

Données externes

Couple images

MNE

Données source

8

MNE Hybride (Raster/Vecteur)

MNE Hybride Raster / Vecteur

Représentation 3D

Information vectorielle

Plusieurs niveaux de description:

- Segments 3D

- Facettes 3D

Information raster

9

Plan

Reconstruction de primitives 3D

Segments 3D Facettes 3D Évaluations Bilan

Optimisation globale hybride

Évaluation du MNE hybride Couple images

MNE

Données source

Segments

Segmentation régions

Reconnaissance & détection 2D

Reconstruction 3D Primitives 3D fiables Segments 3D

Facettes 3D

MNE hybride raster/vecteur

Optimisation globale 3D contrainte

Cadastre

Réseau routier 3D

Données externes

Évaluation / MNE Référence

10

Reconstruction des segments 3D

Mise en correspondance de segments 2D

Contraintes classiques: Épipolaire, altimétrique, recouvrement, photométrique Bande de tolérance autour du MNE pour la validation

Amiens 50 cm

Segments 3D reconstruits Segments 3D reprojetés dans l’ image

12

Segments 3D: Bilan

Avantages

Met à profit le faible B/H

Bonne précision planimétrique

Inconvénients

Forte imprécision altimétrique

Influence du B/H

Influence de l’orientation du segment

HBxy

z /

C1 C2S

13

Reconstruction des facettes 3D

Image gauche

Mise en correspondance des régions

Couples de régions appariées

Segmentations hiérarchiques

Hypothèse modèle surface plane

Plans 3D Délimitation de la facette par projection des contours

Facettes 3D

Image droite [Guigues03]

14

Segmentation hiérarchique

Pourquoi une segmentation hiérarchique ?

Description multi-échelles de l’image Choix du niveau d’interprétation en fonction de la résolution

Possibilité d’appariements inter-niveaux Résoudre les problèmes de sous et sur-segmentations des régions

Modèle de fusion des régions: Géo Vs Rad

On cherche à minimiser l’énergie globale pour un donné:

si élevé : on privilégie les grandes régions à formes simples

si faible : on privilégie les petites régions à radiométrie homogène

))()(()()( REREREPE RadPR

GéoPR

15

45 cm

chelleÉ

80 265

762 2850

Exemple

La meilleure segmentation: Coupe à différentes échelles

16

Mise en Correspondance des régions

Image gauche Image droite

Masquage du sol: Croissance de régions à partir d’un germe dans le MNE Focalisation grâce à des données externes (réseau routier)

Altitude Zmin sur la zone

Recherche de coupes appariées dans les sous-hiérarchies:

Image gauche Image droite

17

Appariement des régions

Contraintes: épipolaire, altimétrique, similarité, recouvrement

Contribution: Propagation ascendante des contraintes

Un nœud père vérifie une propriété si tous ses fils la vérifient.

Contrainte épipolaire

R4

R3

R2

R1

Rg

G

Avantages de la propagation ascendante

Robustesse au bruit

Pas de risque de perte d’homologues au cours des fusions de régions

Gain de temps Image gauche Image droite

Contrainte épipolaire

18

Qualification des appariements

Utilisation d’un cube de corrélation dans l’espace objet [Jibrini00]

Discrétisation du volume de la scène ( X = Y= Z = Rimg)

Calcul des scores de corrélation

Qualification d’un appariement

Q (Rg,Rd) = ScoreCorrel (F(Rg,Rd))

19

Recherche de coupes appariées

Approche Descendante

Validation pilotée par la mise en correspondance des régions: Contrainte photométrique

Contrainte de planéité

Fusion des coupes Hypothèses de facettes concurrentes

0.6

0.75

0.8

)()()( RFilsRRQRQ FF

20

50cm B/H 0.2

Image gauche Image droite

Facettes 3D: Résultats

21

60cm B/H 0.08

Facettes 3D: Résultats

22

Facettes 3D: Évaluations 3D

Nbre facettes 201

Td=75% Tsd=11%

Nbre facettes 118

Td=62% Tsd=9,2%50cm 70cm

23

Facettes 3D: Bilan

Avantages

Approche adaptée au contexte satellitaire (B/H faible)

MEC Régions: Propagation ascendante des contraintes

Faible taux de sur-détection

Inconvénients

Extraction non dense des facettes 3D

Délimitation des facettes non précise en 3D

Temps de calcul élevé

24

Bilan: Reconstruction des primitives 3D

Les segments 3D

Bonne précision planimétrique Faible précision altimétrique

Les facettes 3D Bonne fiabilité des facettes Délimitation non précise Possibilité d’hypothèses de facettes concurrentes

Problèmes des détecteurs de primitives:

Sous-détection Sur-détection Compromis à trouver entre exhaustivité et fiabilité de la reconstruction

Modélisation globale de la surface 3D

25

Plan

Reconstruction de primitives 3D

Optimisation 3D contrainte

Principe

Modélisation des discontinuités: Segments 3D

Régularisation par surfaces planes: Facettes 3D

Résultats et évaluations

Bilan

Évaluation du MNE hybride

Couple images

MNE

Données source

Segments

Segmentation régions

Reconnaissance & détection

Reconstruction 3D Primitives 3D fiables Segments 3D

Facettes 3D

MNE hybride raster/vecteur

Optimisation globale 3D contrainte

Cadastre

Réseau routier 3D

Données externes

Évaluation / MNE Référence

26

Optimisation globale: État de l’art

Deux approches de minimisation d’énergie:

)()()( dEdEdE lissagedonnées

disparitéterme d’attache aux données

terme de lissage

L’estimation de la disparité peut être formulée comme un problème de minimisation d’énergie:

Formulation par programmation dynamique [Bai97,Bel96, Geiger95, Bobick99]

Recherche du minimum sur les lignes épipolaires

Difficulté de propager l’information inter-lignes épipolaires

MNE [Baillard97]

Formulation par flot maximal [RoyCox98,Ischikawa98,Veksler99]

La surface de disparité est minimisée en 2D

27

d épipolaires

la (a,l,d)

Optimisation 3D: Choix de la formulation

Formulation par flot de graphe [RoyCox98]:

Recherche de la coupe minimale

dans un graphe 3D

Maillage en 6-connexité

Une coupe de capacité minimale renvoie la carte de disparité

Avantages:

Renvoie une carte de disparité dense

Facile à adapter à notre contexte : le cube de corrélation

Les images sont traitées de manière symétrique

x

y

d

t

S

28

Optimisation 3D: Choix de la formulation

Inconvénients (Roy Cox):

Les discontinuités ne sont pas modélisées

Ne garantit pas la contrainte d’unicité

Les améliorations : État de l’art

La gestion explicite des occultations Seuillage des scores de corrélation [Zitnick, Kanade 00]

La modélisation des discontinuités Utilisation d’une énergie de lissage dépendante du gradient d’intensité dans les

images [BVZ99, SSZ02]

Définition des coûts en fonction des contours images [Ishikawa, Geiger98].

Ces approches n’utilisent que des informations pixellaires

29

Formulation par flot maximal

Contribution: Utilisation d’information vectorielle pour guider l’optimisation globale

Amélioration de la formulation de [Roy Cox,98]

Les discontinuités ne sont pas modélisées

Gestion explicite par les segments 3D

Contrainte d’unicité non garantie

Contrainte d’unicité est garantie avec les facettes 3D

Apport de l’information vectorielle

Régularisation par surfaces planes

Informations sur les pentes des toits

30

Optimisation 3D globale

Introduire des informations vectorielles:

Modélisation des discontinuités: segments 3D Régularisation de surfaces planes: facettes 3D

Primitives 3D

Cube de corrélation

Données externes

Cube hybride

Optimisation globale MNE

raster

Carte de labels Surface 3D

hybride

Produits dérivés:

MNE raster + carte de primitives retenues dans la coupe Surface 3D hybride

Introduire le cube de corrélation:

Fournit le terme d’attache aux données Résoud le problème de sous-détection des primitives

31

Optimisation: Construction du graphe

Optimisation à l ’intérieur du cube de corrélation Le graphe 3D:

Nœuds: les voxels du cube

La source s est reliée au plan Zmin

Le puits t est relié au plan Zmax

Maillage 3D en 6 connexité

Graphe non orienté

S

t

Zmax

Zmin

x

y

zt

s

arête d'occultation (arête horizontale)

arête de disparité (arête verticale)

32

Gestion des capacités

Hdispocc

Vdisp

CCstevuCKvuC

CvCoûtuCoût

vuC

tvoususi

vuC

),(),(2

)()(),(),(

Coefficient de lissage

))(1(*100)( uCorruCoût Le coût d’un nœud :u

Capacités des arêtes

K

Coût d’une coupe

S

t

n

dispG CC

S

t

m

occG CC

),(),(

),(tsvu

G vuCC

S

t

fC

33

Optimisation sans primitives

(K, Cf )=(0, 0)

K: coefficient de lissage

Influence de Cf

(K, Cf )=(0, 0.5)

(K, Cf )=(0.1, 0.5) (K, Cf )=(0.5, 0.5)

34

Cube de corrélation initial

Optimisation contrainte: Facettes 3D

S

t

Injection des facettes 3D

Interdiction de passage au

dessus et en dessous des facettes

Autorisation de passage sur

les contours des facettes

Optimisation hybride:

MNE Raster / Vecteur

35

Optimisation contrainte: Les segments 3D

Modélisation des discontinuités

à forte magnitude: les façades

à faible magnitude: les faîtes de toit

Apport des segments 3D

Bonne précision planimétrique

Création de couloirs de passage le long des segments

36

Apport des segments 3D

Modélisation des discontinuités Création de couloirs de passage

Capacités horizontales de faible coût

37

Apport des facettes 3D

Régularisation de surfaces

Problèmes de discrétisation Discrétisation de la facette

38

Optimisation contrainte: Les facettes 3D

Discrétisation des facettes Point critique de la méthodologie

Gestion par nappes Réduit le nombre de nœuds du graphe

Création des couloirs de passage

Création d’arêtes horizontales de faible coût

Permet le passage entre facettes concurrentes

Connecté au puits

Connecté à la source

39

Optimisation contrainte: Les segments 3D

50cm

(K=0,2 Cf=0,5)

Sans primitives

Les segments extraits

40

Carte des facettes retenues dans la coupe

(k, Cste) =(0.5, 0.5)

Optimisation contrainte: facettes 3D

Sans primitives

Avec facettes

Sans primitives

Avec facettes

41

70 cm (K=0,1 Cf=1,5)

Sans primitives Avec segmentsAvec facettes Avec segments

42

Optimisation globale Hybride: Bilan

Avantages: Optimisation dense : MNE hybride Raster/Vecteur

Gestion explicite des discontinuités et des occultations

Régularisation par surfaces planes

Solution aux problèmes des détecteurs de primitives

Gestion des hypothèses de facettes concurrentes

Possibilité de remonter à l ’information vectorielle (représentation 3D hybride)

Possibilité de généralisation: Indépendante du processus d ’extraction des primitives 3D

Peut être étendue à un contexte multi-vues

Possibilité d’introduire des informations externes:– Modélisation du sol ( réseau routier, limites cadastrales)

Inconvénients: Problèmes de discrétisation des facettes Dépendance à la fiabilité des primitives extraites

43

Plan

Reconstruction de primitives 3D

Optimisation globale hybride

Évaluation du MNE hybride

Couple images

MNE

Données source

Segments

Segmentation régions

Reconnaissance & détection

Reconstruction 3D Primitives 3D fiables Segments 3D

Facettes 3D

MNE hybride raster/vecteur

Optimisation globale 3D contrainte

Cadastre

Réseau routier 3D

Données externes

Évaluation / MNE Référence

44

Évaluations du MNE hybride

Qualité extrinsèque: Contrôle ponctuel : Statistiques sur les différences d’altitudes

Évaluation en fonction de différentes classes: – (Bâtiment / sol / Bords de bâtiments)

Tracé de profils comparatifs sur les MNE

Qualité intrinsèque: Robustesse au paramétrage Comparaison de MNE obtenus avec différents paramétrages

Sol Bords de Bâtiments: BB Bâtiments

45

Optimisation globale Hybride: Évaluations

Contraintes EQM en Z (cm)

Sans primitives

72,77 0,05

Segments 72,64 0,82

Facettes 70,73 0,96

Contraintes EQM en Z (cm)

Sans primitives

25,29 0,36

segments 25,53 0,44

Facettes 25,20 0,33

Classe « Bords de bâtiments » Classe « Sol »

Contraintes EQM en Z (cm)

Sans primitives

13,68 0,43

segments 15,22 0, 15

facettes 14,22 0,15

Classe « Bâtiments » L’évaluation raster met en évidence

l’apport des segments

La régularisation des surfaces n’est pas

mise en évidence par une évaluation

raster

46

Influence de la constante Cf sur le temps de calcul

Optimisation globale Hybride: Évaluations

47

Conclusion

Objectifs:

Modélisation 3D de surface urbaines Système ouvert et extensible, adapté au contexte satellitaire

Contributions méthodologiques :

Mise à profit du faible rapport B/H à chaque étape

Appariement des hiérarchies: Propagation des contraintes

Processus d’optimisation global, ouvert et extensible.

Perspectives:

Utilisation d’un graphe 3D hybride où les nœuds correspondent à des primitives 3D

Recalage a posteriori des facettes 3D

48

Conclusion: Le projet Pléaides

Une chaîne de traitement pour la modélisation 3D de surfaces

Applications pour le MNE hybride: Calcul d’orthophotos, survol virtuel de villes, texturation du paysage,…

Développement d’une plate-forme d’évaluation de MNE 3 niveaux d’évaluations:

(raster-raster) : évaluation du MNE hybride raster (vecteur- raster): évaluation des facettes 2D (forme, contours …) (vecteur-vecteur): comparaison de deux modèles 3D

Précision de reconstruction:

Précision de reconstruction au B/H ème de pixel

Comparaison de l’exhaustivité de la reconstruction des primitives à différentes résolutions

49

Perspectives: Le projet Pléiades

Perspectives

Modélisation du sol: introduction de données externes

Enrichir la plate-forme d’évaluation: Recalage 2D entre les MNE Métriques d’évaluation 2D/ 3D

Limitation de l’approche basée sur les primitives pour obtenir un modèle polyédrique en contexte satellitaire