Exploration des dimensions spatiale et temporelle de l’imagerie satellite pour la classification de parcelles agricoles

Vivien Sainte Fare Garnot (1) , Loïc Landrieu (1), Sébastien Giordano (1), Nesrine Chehata (1,2)

(1) LASTIG-STRUDEL, IGN-ENSG, Université Paris-Est, (2) EA G&E Bordeaux INP, Université Bordeaux Montaigne

18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 1

Contexte

18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 2

o Objectif: Classification des parcelles agricoles sur des séries temporelles d’images satellites à l’aide de réseaux de neurones artificiels (apprentissage profond)

o Enjeux: faciliter les attributions des subventions de la PAC, surveillance de l’utilisation des sols

→ Quelle est l’importance relative des dimensions spatiale et temporelle?

Plan de la présentation

1. Présentation du problème et état de l’art

2. Problématique de recherche

3. Méthodologie et modèles

4. Résultats

18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 3

Présentation du problème→ Classification à la parcelle à partir de la série temporelle d’images Sentinel-2

18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 4

• 10m de résolution spatiale• 5 jours de temps de revisite• 13 bandes spectrales (VIS/NIR/SWIR)

Données Sentinel-2

Vigne

Mod

èle

Etat de l’art

o Modèles discriminatifs simples (Random Forest) encore majoritairement utilisés

o N’exploitent pas les structures spatiale et temporelle

18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 5

Images concaténées(+ indices radiométriques)

Série temporelle d’images Random

Forest

Vigne

Prédiction

Etat de l’art

→ Progrès récents grâce à l’exploitation des structures spatiale et temporelle par des modèles d’apprentissage profond

18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 6

Structure Temporelle

Structure spatiale

CRF rotation des

cultures[2]

HMM phénologie[3]

RNN phénologie[4]

CNN monotempor

el [5]

RCNN classif. multi-

temporelle. [6]

Apprentissage Profond

Autres approchesRF [1]

HMM: Hidden Markov ModelCRF: Conditional Random FieldRF: Random ForestCNN: Convolutional Neural NetworkRNN: Recurrent Neural NetworkRCNN: Recurrent-ConvolutionalNeural Network

[1] J.Inglada et al., “Assessment of an operational system forcrop type map production using high temporal and spatialresolution satellite optical imagery,” Remote Sensing, 2015.

[2] S.Bailly et al., “Crop-rotation structured classificationusing multi-source sentinel images and lpis for crop typemapping,” in IGARSS 2018.

[3] S.Siachalou et al., “A hidden Markov models approach forcrop classification: Linking crop phenology to time series ofmulti-sensor remote sensing data” Remote Sensing, 2015.

[4] M.Rußwurm et al.“Multi-temporal land cover ¨classification with long short-term memory neuralnetworks,” ISPRS, 2017

[5] N. Kussul, et al. "Deep learning classification of landcover and crop types using remote sensingdata." Geoscience and Remote Sensing Letters, 2017

[6] M.Rußwurm et al. “Convolutional LSTMs for cloud-robustsegmentation of remote sensing imagery.,” NIPS Workshop,2018

Problématique de recherche

→ Importance relative de la structure spatiale et de la structure temporelle?

Approche: Etant donné un budget fixé de paramètres entraînables, doit-on se concentrer sur la structure spatiale (avec des CNN), la structure temporelle (avec des RNN) ou les deux (avec des réseaux hybrides) ?

18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 7

Architectures

18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 8

CNN GRU CNN+GRU ConvLSTM

***

* ours

Jeu de données

18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 9

• 199, 464 parcelles

• 24 dates de Janvier à Octobre 2017

• 18 classes

Fig. 2: Exemple d’un élément du jeu de données

Fig. 1: Localisation de la zone d’expérimentation et répartition des classes au sein de la zone

Résultats

18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 10

• CNN < GRU < CNN+GRU

• Intérêt limité des caractéristiques extraites par les CNN

• Structure temporelle > structure spatiale

Fig. 1:Vérité terrain et prédictions des différents modèles

Tab. 1: Performances moyennes des différents modèles

***

* ours

Résultats par classe

18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 11

• Structure temporelle importante pour les classes difficiles

• L’importance relative spatial/temporel dépend de la classe

Fig. 1: F-score par classe, pour les quatre architectures

Importance de la structure temporelle → Comment réagissent les modèles à un mélange aléatoire des séries temporelles ?

18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 12

Tab. 1: F-score moyens des quatre architectures entrainées sur les données originales (Ordered) et sur les données mélangées aléatoirement (Shuffled)

• Performance toujours meilleure que CNN (F-score 34.9)

• Mémoire sélective + modélisation de l’évolution temporelle

• Quelle architecture pour exploiter au mieux la dimension spatiale ?• Comment aider les réseaux récurrents à exploiter complètement la structure temporelle ?

Conclusion

18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 13

• Etat de l’art pour les architectures CNN+GRU• Temporel > Spatial • Peu d’information de texture • GRU = Mémoire sélective + modèle temporel

Principaux résultats

Perspectives