114
Analyse Exploratoire des Analyse Exploratoire des Données Géographiques Données Géographiques ESDA ESDA Didier JOSSELIN ESPACE, UMR 6012, CNRS, Avignon, France [email protected] Tél.: 04 90 16 26 93

Introduction Quelques outils de base de l’EDA Méthodes à noyaux Filtres spatiaux robustes

  • Upload
    eloise

  • View
    31

  • Download
    0

Embed Size (px)

DESCRIPTION

Analyse Exploratoire des Données Géographiques ESDA Didier JOSSELIN ESPACE, UMR 6012, CNRS, Avignon, France [email protected] Tél.: 04 90 16 26 93. P L A N. Introduction Quelques outils de base de l’EDA Méthodes à noyaux Filtres spatiaux robustes Variogrammes robustes - PowerPoint PPT Presentation

Citation preview

Page 1: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Analyse Exploratoire des Analyse Exploratoire des Données GéographiquesDonnées Géographiques

ESDAESDA

Didier JOSSELINESPACE, UMR 6012, CNRS, Avignon, France

[email protected]él.: 04 90 16 26 93

Page 2: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Introduction

Quelques outils de base de l’EDA Méthodes à noyauxFiltres spatiaux robustesVariogrammes robustesAutocorrélation spatialeFiltres adaptatifsMédienne, DistogrammeRapport SIG / outils de Statistique ARPEGE, LAVSTATConclusion

PPLLAANN

Page 3: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Exploratory Exploratory SpatialSpatial Data Data Analysis :Analysis :

Application de l’EDA à Application de l’EDA à l’analyse spatialel’analyse spatiale

Page 4: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

L’L’enjeuxenjeux principal de l’analyse spatiale principal de l’analyse spatiale et donc … de l’ESDAet donc … de l’ESDA

- L’analyse d’ensemble locale d’objets géographiques… pointssurfaceslignesobjets complexes

- Pour rechercher les :relations statistiquesrelations spatialesrelations à travers les échellesrelations « statistico-spatiales » à travers…

Page 5: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

L’ L’ E D AE D A et et la statistique “classique”la statistique “classique”

Page 6: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Analyse des donnéesAnalyse des donnéesConfirmatoire Exploratoire

Moyenne Médiane

Histogramme (amplitude égale)

Branchage, histogramme dynamique, boîte à pattes

Test de normalité Quantile-Quantile Plot

Régression linéaire, non linéaire

Ré-expression, Lowess régression robuste

An. de la variance Median polish

An. factorielle Projection révélatrice

Page 7: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

La voie de l’EDALa voie de l’EDA

Page 8: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Histogramme, branchage,Histogramme, branchage,boîte à pattes, dot plot ... boîte à pattes, dot plot ...

Page 9: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Question :Question : quels sont les quels sont les qualités et les défauts de qualités et les défauts de l’histogramme ? l’histogramme ?

0

50

100

1er trim.

3e trim.

Est

Ouest

Nord

Page 10: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Les qualités ...Les qualités ...

- Mode de représentation synthétiqueMode de représentation synthétique

- Mathématiquement bien étudié et établiMathématiquement bien étudié et établi

- Permet de nombreux tests de dépendance Permet de nombreux tests de dépendance statistique (contingence)statistique (contingence)

- Méthodes de discrétisations «  automatiques »- Méthodes de discrétisations «  automatiques »

++

Page 11: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Les défauts ...Les défauts ...

- Sensibilité au nombre de classesSensibilité au nombre de classes

- Mélange d’individus différents par classeMélange d’individus différents par classe

- Contrainte de surfaces proportionnelles Contrainte de surfaces proportionnelles aux fréquences aux fréquences formes « bizarres » formes « bizarres »

- Méthodes de discrétisations «  automatiques »- Méthodes de discrétisations «  automatiques »

--

Page 12: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Branchage de la Population Urbaine (% de la population dans des zones urbaines)

37 87 95 64 97 71 41 68 54 56 85 76 73 63 75 76 89 59 65 58 92 6773 21 72 89 60 89 52 100 73 89 64 36 56 65 94 51 59 61 83 69 70 57

feuilles non ordonnées feuilles ordonnées

Tronc Feuilles Tronc Feuilles2345678910

17614698261974835704519163563230759999357240

2345678910

16711246678990134455789012333566357999924570

D. Ladiray, 1999

Réponse apportée par le branchage (Stem and leaf)Réponse apportée par le branchage (Stem and leaf)

Page 13: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Réponse apportée par des graphiques simplesRéponse apportée par des graphiques simples

0 10 20 30 40 50 60 70 80 90 100

0 10 20 30 40 50 60 70 80 90 100

30 45 60 75 90

Dot Plot

Stacked Plot

Jittered Plot

Page 14: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Réponse apportée par la boîte à pattesRéponse apportée par la boîte à pattes

intérieurs adjaçentsproches

lointains

Distance Inter Quartile (dIQ)

1,5 x (Q3-Q2)

Q2Q1 Q3min max

Page 15: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Réponse apportée par l’histogramme dynamiqueRéponse apportée par l’histogramme dynamique(ex : le distogramme, Josselin, 1999)

Page 16: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Démo Démo histogramme dynamiquehistogramme dynamique

et boîte à patteset boîte à pattes

Page 17: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Question :Question : quels sont les qualités et les quels sont les qualités et les défauts des méthodes classiques défauts des méthodes classiques de comparaison de distributions de comparaison de distributions (Khi2, Kolmogorov-Smirnov ...) (Khi2, Kolmogorov-Smirnov ...) sur tableau de contingence ?sur tableau de contingence ?

Page 18: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Les qualités ...Les qualités ...

- Utilisent l’histogrammeUtilisent l’histogramme

- Sont synthétiques et font appel à des tests de probabilitéSont synthétiques et font appel à des tests de probabilité

- Mathématiquement bien étudié et établiMathématiquement bien étudié et établi

++

Page 19: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Les défauts ...Les défauts ...

- Sensibilité au nombre de casesSensibilité au nombre de cases

- On perd l’individu On perd l’individu

- On ne peut pas évaluer la forme de la distributionOn ne peut pas évaluer la forme de la distribution

- Plusieurs valeurs peuvent correspondre à des réalités significativement différentes- Plusieurs valeurs peuvent correspondre à des réalités significativement différentes

--

Page 20: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

La réponse du QQ Plot La réponse du QQ Plot

Valeurs xi

classéespar ordrecroissant(i est l’indice)

Quantiles théoriques suivant une loi normale

)

418

3(1

i

ipF i

Page 21: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Démo QQ-PlotDémo QQ-Plot

Page 22: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Ré-expression de variable,Ré-expression de variable,régressions robustes, Lowess régressions robustes, Lowess

Page 23: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Question :Question : quels sont les qualités et les quels sont les qualités et les

défauts des régressions de type défauts des régressions de type “moindres carrés”, linéaires “moindres carrés”, linéaires

ou non linéaires ?ou non linéaires ?

Page 24: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Les mêmes qualités que Les mêmes qualités que d’habitude ... d’habitude ...

et les mêmes défauts ...et les mêmes défauts ...

- Sensibilité aux valeurs extrêmes…Sensibilité aux valeurs extrêmes…

- Nécessité de normalité des résidus et bonne Nécessité de normalité des résidus et bonne répartitions des individus en X et Yrépartitions des individus en X et Y

Page 25: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Une première réponse : Une première réponse : la ré-expression des données la ré-expression des données

L’échelle de puissance de Tukey

Puissance Transformée4 X4

3 X3

2 X2

1 X½ racine(X)0 log(X)-½ -1/racine(X)-1 -1/X-2 -1/X2

-3 -1/X3

Log(x)

Page 26: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

La réponse de la “droite résistante”La réponse de la “droite résistante”à la régression linéaireà la régression linéaire (ex :grigri-plot, A. Banos, 1999)

RégressionMoindres carrés

Résistant line

Page 27: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Principe de la droite résistantePrincipe de la droite résistante

On regroupe les individus en 3 paquets d’effectifs égaux (en fonction de X)

On calcule pour chaque groupe l’individu robuste {médiane des X, médiane des Y}

On ajuste la droite sur les 2 points médians extrêmes, puis sur le point médian central

Page 28: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Démo Droite RésistanteDémo Droite Résistante

Page 29: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

La réponse du “Lowess”La réponse du “Lowess”à la régression non linéaire à la régression non linéaire

Page 30: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Principe du lowess (lissage Principe du lowess (lissage robuste d’un nuage de points)robuste d’un nuage de points)

On définit une distance et on calcule, pour chaque point les poids des points voisins

On calcule la régression locale sur chaque point (polynôme)

On calcule les résidus et on applique un ajustement robuste par la médiane, pour éliminer les résidus trop importants

Page 31: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

La voie de l’ESDA ?La voie de l’ESDA ?

Page 32: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Démo Démo Lowess, filtres Lowess, filtres

robustes sur donnéesrobustes sur données

Page 33: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

ESDA : outils existantsESDA : outils existantsStat. usuelle exploratoire

Moyenne mobile (pondérée) Médiane mobile temporelle / spatiale

Bootstrap Bootstrap spatial

Filtres spatiaux moyens (pondérés)

filtres médians, adaptatifs, estimateurs de densités, kernel

Régression Régression géographique locale

Variogramme Variogramme robuste

Autocorrélation spatiale globale

LISA : autocorrélation spatiale locale

Analyse spatiale multivariée Data mining interactif, GAM

Page 34: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Question :Question : Comment lisser, homogénéiser, Comment lisser, homogénéiser,

simplifiersimplifieretet

analyser à travers les échellesanalyser à travers les échelles... un phénomène observé ?... un phénomène observé ?

Page 35: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Filtres spatiaux robustesFiltres spatiaux robustes

Page 36: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

PrincipePrincipe

On promène un filtre d’amplitude a choisi par l’utilisateur

En chaque valeur de la série, on applique la fonction f (pour nous la médiane) :

X

a=5, t=2

X-1

X-2

X+1

X+2

)();1(;...;);...;1();(),(

))2((

)()( txtxxtxtxftxY

aroundt

txàtx

Page 37: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Médiane mobileMédiane mobile

Page 38: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Filtres spatiauxFiltres spatiauxMême principeque sur série,mais s’appliqueen 2D

Degré de contiguïté Distance

Page 39: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

ContiguïtéContiguïté

1 2

3

4 5

1 2 3 4 5

1 0 1 1 1 0

2 1 0 1 0 1

3 1 1 0 1 1

4 1 0 1 0 1

5 0 1 1 1 0

5 zones Matrice de contiguïté (i,j)

Cij = 1 si i et j ont une frontière commune0 sinon

On peut aussi définir des degrés de contiguïté :- d'ordre k (supérieur à 1) - d'ordre infèrieur à k

I J

Page 40: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

DistanceDistance

1 2

3

4 5

1 2 3 4 5

1 0 25 33 50 22

2 25 0 53 22 50

3 33 53 0 33 53

4 50 22 33 0 25

5 22 50 53 25 0

5 zones Matrice de contiguïté (i,j)

Cij = 1/dij si i j avec > 1

0 sinon On peut aussi d₫finir des pond₫rations dans la

distance en jouant sur

I J

= 1

Page 41: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Filtres spatiaux Filtres spatiaux

Page 42: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Estimateurs de densitéEstimateurs de densité

A. Banos, F. Huguenin-Richard, 1999A. Banos, F. Huguenin-Richard, 1999

Application aux accidents de la route en 1996 dans la CUDLApplication aux accidents de la route en 1996 dans la CUDL

Source : CUDL, 1996

Page 43: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Estimation de densité par fonction de KernelEstimation de densité par fonction de Kernelet les fenêtres mobiles adaptativeset les fenêtres mobiles adaptatives

Principe général :

- estimation en tout point de l’espace de l’intensité d’un phénomène (nombre d’accidents)

- balayage systématique de la zone d’étude par une fenêtre circulaire mobile de rayon r défini par l’utilisateur ou auto-adaptative

- pondération du nombre d’accidents en fonction de la distance de chaque accident au centre de la fenêtre circulaire

D’après Bailey T., Gatrell, A., 1995

A. Banos, F. Huguenin-Richard, 1999A. Banos, F. Huguenin-Richard, 1999

Page 44: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Estimation de densités locales. Représentation surfaciqueEstimation de densités locales. Représentation surfacique

Densités estimées à partir de 20 000 fenêtres mobiles fixes de rayon 1000 m

Densités estimées à partir de 20 000 fenêtres mobiles adaptatives de rayon 1000 m

Source : CUDL, 1996 A. Banos, F. Huguenin-Richard, 1999A. Banos, F. Huguenin-Richard, 1999

Page 45: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Estimation de densités locales. Représentation 3DEstimation de densités locales. Représentation 3D

Source : CUDL, 1996

Densités estimées à partir de 20 000 fenêtres mobiles fixes de rayon 1000 m

Densités estimées à partir de 20 000 fenêtres mobiles adaptatives de rayon 1000 m

A. Banos, F. Huguenin-Richard, 1999A. Banos, F. Huguenin-Richard, 1999

Page 46: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Soit une population de référence : l’ensemble des accidents en 1996 dans la Cudl

Population de référence

Sous-population Constat visuel : forme de la distribution

spatiale des 2 semis de points semble identique

Question :

- existent-t ils dans la sous-population des concentrations locales non identifiables à l’œil nu ?

Extraction d’une sous-population : les accidents ayant impliqué au moins un piéton enfant

Les clustersLes clusters

A. Banos, F. Huguenin-Richard, 1999A. Banos, F. Huguenin-Richard, 1999

Page 47: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Principe de la méthode des clustersPrincipe de la méthode des clusters

Comparaison statistique de la distribution spatiale de la sous-population avec sa distribution théorique associée, construite sous hypothèse d’une répartition spatiale aléatoire

Application de la loi de Poisson pour tester la significativité des écarts observés entre les 2 distributions

Couverture de la zone d’étude par des fenêtres mobiles circulaires

- nombre défini par l’utilisateur

- rayon variable, choisi au hasard dans un intervalle fixé par l’utilisateur

Page 48: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Identification de concentrations localesIdentification de concentrations locales

P(,) < 0.05 P(,) < 0.01

P(,) < 0.005 P(,) < 0.001

A. Banos, F. Huguenin-Richard, 1999A. Banos, F. Huguenin-Richard, 1999

Page 49: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

DémoDémo Filtres spatiaux robustes Filtres spatiaux robustes

Page 50: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Question :Question : Comment quantifier la Comment quantifier la

variation d’un phénomène dans variation d’un phénomène dans l’espace, à travers les échelles, l’espace, à travers les échelles,

en changeant de résolution en changeant de résolution spatiale ?spatiale ?

Page 51: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Variogrammes ... robustesVariogrammes ... robustes

Page 52: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Principe sur une maille fixePrincipe sur une maille fixe(Modèles Numériques de Terrain)(Modèles Numériques de Terrain)

d 2d

Z1

Zn

2.2 0.5 .d

Z20

Croiser variance et distance pour identifier des structures spatiales

Page 53: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Possible aussi sur semis de Possible aussi sur semis de points sans structure points sans structure

Page 54: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Méthode Méthode

1 - On détermine la matrice des distances dij entre tous les couples de points {i,j}

2 – Pour toutes les valeurs de distance dij (réparties en classes, multiples de d ou non), on calcule la variance de la variable Z

3 – On réalise un nuage de points croisant cette variance (Y) et les distances (dij)

Page 55: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Variogramme « classique » et « robuste »Variogramme « classique » et « robuste »

• avec i et j les points considérésd la résolution spatialeZ la variable à étudiernd le nombre de couples de points à la résolution d

Le Variogramme « classique »

(Matheron)

2

,.2

1)(

jiji

dd ZZ

nZV

Et ses équivalents « robustes » (Cressie)

d

jiji

dd

n

ZZn

ZV494.0457.0

1

2

1)(

42

1

,

457.0,;2

1)(

422

1

djid njiZZmedZV

Page 56: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Exemple : population communaleExemple : population communale

Quantiles

Amplitudes égales

1 : variogramme classique2 : variogramme robuste 13 variogramme robuste 2

1

23

1,2

3forte

faible

Page 57: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Variogramme exploratoireVariogramme exploratoire

We propose to use a spatio-temporal

co-occurrence

matrice in order to :

assess spatio-temporal autocorrelation

look for spatio-temporal patterns based on pullulation scores local relations and organization in ti

me

Log (abs (Zi – Zj))(abs (Zi – Zj))

Log (dij)Dij

Lowess

Page 58: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Autocorrélation spatialeAutocorrélation spatiale

Page 59: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Question :Question : Comment mesurer à quel point Comment mesurer à quel point

des individus proches des individus proches géographiquement se géographiquement se

ressemblent ?ressemblent ?

Page 60: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Buts et usages de la Buts et usages de la mesure mesure d'autocorrélation d'autocorrélation spatialespatiale

Mesurer des contrastes sur une carte ou une image

Evaluer globalement ou localement la structure d'un phénomène

Identifier des zones homogènes vs hétérogènes

Aider à la détection de discontinuïtés spatiales et des frontières

Page 61: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Disciplines et domaines Disciplines et domaines concernésconcernés

Analyse spatiale, géographie quantitative

Géostatistiques (phénomènes continus et discrets)

Traitement d'images Analyse des réseaux Economie spatiale Archéologie Ecologie Etc.

Page 62: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Les individus proches se Les individus proches se ressemblent... (autocorrélation +)ressemblent... (autocorrélation +)

Page 63: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Les individus proches sont Les individus proches sont différents... (autocorrélation -)différents... (autocorrélation -)

Page 64: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

De quoi ai-je besoin pour De quoi ai-je besoin pour mesurer l'autocorrélation mesurer l'autocorrélation spatiale ?spatiale ?

- D'une (ou de) variable(s) à mesurer- D'une méthode pour mesurer la distance ou la contiguïté :

* choix d'une mesure* calcul d'une matrice de distance ou

contiguïté- D'une méthode pour évaluer l'autocorrélation sous contrainte de distance / contiguïté

* choix d'une mesure* choix d'une fenêtre d'application

- D'une méthode de validation, visualisation

Page 65: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Indices de MORANIndices de MORAN

L’indice de MORAN global est défini comme suit (Moran) :

• avec u la moyenne des valeursn le nombre d’individuslij =1 si i et j contigus ou répondent à une condition, 0 sinonM<0 ou Mi<0 si l’autocorrélation est négative M>0 ou Mi>0 si l’autocorrélation est positive

2)11(

)(

))((

ii

iji

jij

ji

i X

XXl

l

nM

Et son équivalent local (LISA, Anselin) :

nX

XlX

Mi

i

jjiji

i 2

)11(

)(

)()(

Page 66: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Indices de GEARYIndices de GEARY

L’indice de GEARY global est défini comme suit (Geary):

• avec u la moyenne des valeursn le nombre d’individuslij =1 si i et j contigus ou répondent à une contrainte, 0 sinonG ou Gi plus la valeur est grande et plus l’autocorrélation est forte

1

)(

2

)(

2

2

)0(

n

X

l

XXl

Gi

i

ij ij

jiijji

Et son équivalent local (LISA, Anselin) :

i

i

jiijj

ji

i

n

X

XXl

G 2

2

)0(

)(

)(

Page 67: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Démo LISADémo LISA

Page 68: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Filtres temporels et spatiaux Filtres temporels et spatiaux robustesrobustes

Page 69: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Les individus proches se Les individus proches se ressemblent... (autocorrélation +)ressemblent... (autocorrélation +)

Page 70: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Les individus proches sont Les individus proches sont différents... (autocorrélation -)différents... (autocorrélation -)

Page 71: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Même principe,que filtres spatiaux

lien lij

Degré de contiguïté (lij = cij) Distance (lij = dij)

Page 72: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Indices de MORANIndices de MORAN

L’indice de MORAN global est défini comme suit (Moran) :

• avec u la moyenne des valeursn le nombre d’individuslij =1 si i et j contigus ou répondent à une condition, 0 sinonM<0 ou Mi<0 si l’autocorrélation est négative M>0 ou Mi>0 si l’autocorrélation est positive

2)11(

)(

))((

ii

iji

jij

ji

i X

XXl

l

nM

Et son équivalent local (LISA, Anselin) :

nX

XlX

Mi

i

jjiji

i 2

)11(

)(

)()(

Page 73: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Indices de GEARYIndices de GEARY

L’indice de GEARY global est défini comme suit (Geary):

• avec u la moyenne des valeursn le nombre d’individuslij =1 si i et j contigus ou répondent à une contrainte, 0 sinonG ou Gi plus la valeur est grande et plus l’autocorrélation est forte

1

)(

2

)(

2

2

)0(

n

X

l

XXl

Gi

i

ij ij

jiijji

Et son équivalent local (LISA, Anselin) :

i

i

jiijj

ji

i

n

X

XXl

G 2

2

)0(

)(

)(

Page 74: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Démo LISADémo LISA

Page 75: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

PrincipePrincipe

On promène un filtre d’amplitude a choisi par l’utilisateur

En chaque valeur de la série, on applique la fonction f :

X

a=5, t=2

X-1

X-2

X+1

X+2

)();1(;...;);...;1();(),(

))2((

)()( txtxxtxtxftxY

aroundt

txàtx

Page 76: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Filtres sur série temporelleFiltres sur série temporelle

Page 77: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Filtres spatiauxFiltres spatiauxMême principe,mais s’appliqueen 2D

Degré de contiguïté Distance

Page 78: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Les outils du marché ... Les outils du marché ... SIG, logiciels de cartographie SIG, logiciels de cartographie

ou logiciels de Statistique ?ou logiciels de Statistique ?

Page 79: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Des logiciels de statistique Des logiciels de statistique très élaborés...très élaborés...

La variété et la puissance des modèles et des logiciels statistiques disponibles

L ’intégration des outils classiques et de l ’EDA

L ’existence de modèles statistiques et de logiciels spécifiques en EDA spatiale (ESDA)

++

Page 80: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

… … qui intègrent peu le spatial.qui intègrent peu le spatial.

Il n ’existe que des « viewers » de données géographiques

Les « grands » logiciels de statistique intègrent peu les modèles de l ’ESDA

L ’approche générale reste de type Entrée-Sortie

--

Page 81: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Des logiciels de cartographie Des logiciels de cartographie conviviaux ... conviviaux ...

L ’interactivité

La facilité d ’utilisation

La qualité de la sémiologie

L ’association à des représentations statistiques

++

Page 82: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Outils relativement fermés

Pas de structure de données accessible

Pas de langage de requête autre que graphique

Absence de modèle topologique

--

… … avec cependant quelques avec cependant quelques limites ...limites ...

Page 83: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Des Systèmes d ’InformationDes Systèmes d ’Information Géographique puissants ... Géographique puissants ...

Acquérir

Accéder Afficher

Analyser

Archiver

Abstraire

Page 84: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Les fonctionnalités à Les fonctionnalités à l’avantage des SIGl’avantage des SIG

Le géocodage de l ’information Intégration d ’informations hétérogènes Langages de requête élaborés Modèles de données structurés Variété des SIG dédiés ou généralistes Langage de programmation souvent intégré Parfois modèle topologique

++

Page 85: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Mais quelques inconvénients Mais quelques inconvénients majeurs ...majeurs ...

Interactivité faible (sauf requête SQL) Peu d ’intégration d ’ outils statistiques (sauf gros systèmes) Souvent empilement d ’informations mal structurées (couches)

Anarchie ?

--

Page 86: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Conclusion : 3 voies sont Conclusion : 3 voies sont techniquement possiblestechniquement possibles

Prendre un outil existant et l ’utiliser,

Marier deux (ou plusieurs) outils pour le meilleur et pour le pire (LAVSTAT)

Développer les besoins spécifiques dans les outils proposés (ARPEGE)

Page 87: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Exploratory Exploratory SpatialSpatial Data Data Analysis :Analysis :

nos propositions pour nos propositions pour l’enseignement et la recherchel’enseignement et la recherche

Page 88: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Le « Distogramme »Le « Distogramme »

Page 89: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

ObjectifsObjectifs

Rechercher les discontinuités spatiales

Analyser les discontinuités dans les valeurs des variables décrivant les individus

Chercher la meilleure configuration statistique pour restituer une information cartographique

Page 90: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

La règle des La règle des DD

une Double vue : une carte et une distribution statistique Deux types de Distributions croisées : spatiale et statistique Un lien Dynamique entre elles Un outil pour Discrétiser des variables continues Un outil pour analyser les Discontinuités spatiales et

statistiques Un outil pour transformer les Données (“Distorsion” de

valeurs)

Page 91: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Le Distogramme : un lien dynamiqueLe Distogramme : un lien dynamiqueentre une carte et des distributions entre une carte et des distributions

Page 92: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Démo DistogrammeDémo Distogramme

Page 93: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

ARPEGE’ARPEGE’pour détecter les objets pour détecter les objets

géographiques composites géographiques composites multiscalaires multiscalaires

Page 94: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

HypothèseHypothèse

« Analyser dynamiquement les « Analyser dynamiquement les relations statistiques et spatiales à relations statistiques et spatiales à

différentes échelles permet une différentes échelles permet une meilleure compréhension des entités meilleure compréhension des entités géographies et des relations qu’elles géographies et des relations qu’elles entretiennent (statistiques, spatiales entretiennent (statistiques, spatiales

et topologiques) »et topologiques) »

Page 95: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Commune A Commune B

L’exemple des flux agricoles L’exemple des flux agricoles intercommunauxintercommunaux

Page 96: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

1 ha10 ha360 ha

SAUSAU = flux internes + entrants Flux sortants

Page 97: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

LES FLUX SORTANTS EN FRANCHE-COMTÉ EN 1988

Source : RGA 1988

Un enchevêtrementUn enchevêtrementinextricable...inextricable...

Page 98: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Notion de « pertinence territoriale »Notion de « pertinence territoriale »

Pi = flux internes / tous les fluxPi = flux internes / tous les flux

avecavec

Tous flux = flux internes (FTous flux = flux internes (Fintint) + flux externes) + flux externesoùoùflux externes = sortants (Fflux externes = sortants (Foutout) + entrants () + entrants (FFincinc))

i

inci

outii

ii

i FFF

FP

)( int

int

«Bon»

«Mauvais»

Page 99: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

La « pertinence territoriale » calculée pour la PEZMALa « pertinence territoriale » calculée pour la PEZMA(si elle était mal attribuée territorialement)(si elle était mal attribuée territorialement)

Page 100: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Distribution spatiale de la Distribution spatiale de la pertinence territoriale communalepertinence territoriale communale

Communes Cantons

Page 101: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Effet de bordure Secret statistique

Qualité des données : complétude Qualité des données : complétude (Josselin, Bolot, Chatonnay,2000)(Josselin, Bolot, Chatonnay,2000)

Page 102: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Que cherchons-nous ?Que cherchons-nous ?

Commune aggregate with its key and boundary

Commune described by an attribute

Commune couple flow

Des collectionsd’objets compositesassociés par :

leurs dépendances sémantiqueset/ou statistiques

leurs relations spatiales, topologiques et/oufonctionnelles

Page 103: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Le « visionneur » d ’ARPEGE’Le « visionneur » d ’ARPEGE’

Page 104: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Application du prototype ARPEGE’ Application du prototype ARPEGE’

Page 105: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Démo Démo ARPEGE’ARPEGE’

Page 106: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

LAVSTATLAVSTATUn lien dynamique entre Un lien dynamique entre

ArcView et XlispStat ArcView et XlispStat

Page 107: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

ObjectifsObjectifs

Analyser l’espace de manière systémique

Ne pas réinventer la roue

Faire coopérer des outils complémentaires

Page 108: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

ArcViewArcView Un SIG associé à ArcInfo Un SIG associé à ArcInfo

Modèle topologique

Requêtes variées

Tables indexées et liens entre tables

Une connexion SQL (à Access par ex.)

Un langage de « meta-programmation » (Avenue)

Page 109: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes
Page 110: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Xlisp-StatXlisp-Stat Un environment puissant de Un environment puissant de programmation statistiqueprogrammation statistique

Représentations statistiques multiples

Basé sur méthodes robustes (ESDA)

Un langage de programmation ouvert (LISP Orienté Objet)

Un lien dynamique entre les représentations

Page 111: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes
Page 112: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

InteractionInteraction

Page 113: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Méthodologie de lienMéthodologie de lien

ArcView

Xlisp-Stat

Application N

Services, DDEServices, DDE

Serveur

Application 3

Page 114: Introduction Quelques outils de base de l’EDA  Méthodes à noyaux Filtres spatiaux robustes

Application de LAVSTAT Application de LAVSTAT