Embed Size (px)
Citation preview
Simuler les données manquantes
dans les Open Data ?
Présenté par : Imen Megdiche
Directeur de Thèse : Olivier Teste
Co-directeur de thèse : Alain Berro
Atelier : Impact des *‐data sur les systèmes d’information
24/03/2015
Plan
1. Impact des Open Data sur les SI
2. Processus d’entreposage d’Open Data
3. Données manquantes dans les Open Data
4. Simuler les données .. une bonne alternative ?
24/03/2015Atelier : Impact des *‐data sur les systèmes d’information
2
Accroissement Diversité & Richesse
24/03/2015Atelier : Impact des *‐data sur les systèmes d’information
3 Impact des Open Data sur les SI
http://wwwdb.inf.tu-dresden.de/opendatasurvey/
24/03/2015Atelier : Impact des *‐data sur les systèmes d’information
Impact des Open Data sur les SI4
Quelques témoignages sur les principaux bénéfices attendus de la réutilisation des
Open Data
24/03/2015Atelier : Impact des *‐data sur les systèmes d’information
5 Impact des Open Data sur les SI
Intégrer les Open Data dans les entrepôts de données ?
* Il faut les chercher dispersés sur plusieurs fournisseurs
* Il faut les nettoyer et aligner hétérogénéité sémantique et structurelle
* Il faut les compléter et corriger données manquantes
et erronées
MAIS ….
Processus d’entreposage des Open Data 6
OD1
OD2
ODN
.
.
.
(1) Processus ETL
dirigé par le contenu (2) Intégration
holistique
VNumData,3
Vs
truct,1
VNumData,1
Vs
truct2
VNumData2
VStruct3
VNumData,2
Vs
truct6
VNumData,4
Vst
ruct5
VNumData,5
VStruct3
Vs
truct4
Vstruct1
Vstruct7
Vstruct2
VNumData,1
VNumData,3
VNumData,n
VNumData,1
Vs
truct1
VNumData,4
Vst
ruct2
VNumData,5
VStruct3
VNumData,3VNumData,2
.
.
.
VNumData,1
Vstr
uct,12
VNumData,3
Vst
ruct10
VNumData5
VSt
ruct11
VNumData,4
Vs
truct9
VNumData,6
Vst
ruct8
VNumData,7
VS
truct5
Vst
ruct7
Vs
truct1
Vst
ruct13
Vs
truct6
VNumData,2
VNumData,3
VNumData,n
VNumData,11
Vs
truct2
VNumData,12
Vst
ruct3
VNumData,9
VS
truct4
VNumData,8
VNumData,10
F1m1
Dim1
Dim3
Dim2
S = (F, D, Star)
(3) Définition incrémentale et
semi-automatique du schéma
multidimensionnel
Dim1
Dim2
Dim1
F1m1
F1m1
F1m1
Dim1
Dim3Dim2
:
Mp = {male1901, 2 =
male1,3 = male84,4 =
male72,5 ; 1>
Mq =
{provisionalLicence1903, 2
= provisionalLicence1, 3
= prov2, 5 ; 1>
Mr = {fullLicence1904, 2 =
fullLicence2, 3 = full1, 5 ;
1>
:
Ms = {age5,3 =
agetAtRefresh34,4 ; 1}
Mt = {gender45,4 = sex72,5
; 1}(4) Génération
de l’entrepôt de
données
Script.sql
Entrepôt
de
données
Matchings
Données
manquantes
Données manquantes dans les Open Data
…issues de la qualité ….issues de l’intégration/alignement
24/03/2015Atelier : Impact des *‐data sur les systèmes d’information
7
17,5 %
21,1 %
Département
Mensuel
Annuel
Donner une vision complète des données
Construire et croiser le plus de sources possibles pour avoir des scénarios d’analyses
riches
Gagner le temps
Biaiser les données
Informer les utilisateurs que les données sont simulées 24/03/2015Atelier : Impact des *‐data sur les systèmes d’information
8 Simuler les données … une bonne alternative ?
![A.O. Partie 2: Architecture de Von Neuman (UCT/CPU, bus ... · Corrigé pour le TD de la partie 1 9. ... transfèrent des informations ... [Single In-line Memory Module]: idem mais](https://img.pdfslide.fr/doc/110x75/5ae447157f8b9a097a8f314e/ao-partie-2-architecture-de-von-neuman-uctcpu-bus-pour-le-td-de-la-partie.jpg)
![Apport de la biologie moléculaire dans le diagnostic ...sahgeed.com/upload/2_ F. DJENNANE-HADIBI.pdf · Diagnostic moléculaire W^µ Æ ] [ E TRU Gram Culture Test de sensibilité](https://img.pdfslide.fr/doc/110x75/6070ebaca841c57978074701/apport-de-la-biologie-molculaire-dans-le-diagnostic-f-djennane-hadibipdf.jpg)
![W } P u u } ( ] v v u v } i [ µ ] } v v ] } µ o ] } Ç v ... · ] v v ] } v o t o o } v ] r µ Æ o o [ ] v ] P o u v v o K i ] ( µ À o } u v µ o U v ] µ o ] o µ ] µ ] o K](https://img.pdfslide.fr/doc/110x75/5f50de8c05566a226e0f2db2/w-p-u-u-v-v-u-v-i-v-v-o-v-v-v-v-o-t-o.jpg)
![Conf 1 - Ethique et Santé final - Infectiologie · } u } ] ] } v WW í ð ] µ o ] í ð µ o v V µ Æ } o o P ] ] } v µ v } v v µ o ] ( ] v u ] } ] } v } v v](https://img.pdfslide.fr/doc/110x75/5f2550b9b9ac6c60845ce4eb/conf-1-ethique-et-santf-final-infectiologie-u-v-ww-o.jpg)
![D } Ç v v ^ ] } v r ^ u ] v î - ac-reunion.fr · D } Ç v v ^ ] } v r ^ u ] v î / v ( } u ] } v W > } µ µ v µ } À } µ } } } µ µ v ] À ] U } v À } µ o ] o](https://img.pdfslide.fr/doc/110x75/60a0d692e891b7519c38b5ac/d-v-v-v-r-u-v-ac-d-v-v-v-r-u-v-v-u.jpg)
![< µ v ] ( ( v u µ ( ] v } v µ Æ ] À } ] v o - Katun](https://img.pdfslide.fr/doc/110x75/61d02f7fa838b72dd65b4d20/lt-v-v-u-v-v-v-o.jpg)
![> v } µ o v K ] v ] W hWK i µ v } i ] v ] ] ] À](https://img.pdfslide.fr/doc/110x75/62482047cec4e70666721b2b/gt-v-o-v-k-v-w-hwk-i-v-i-v-.jpg)
![> o o } u o u v ] v À } Ç v v & v](https://img.pdfslide.fr/doc/110x75/62b21a9f3f87727ac27f6418/gt-o-o-u-o-u-v-v-v-v-amp-v.jpg)
![h v } u o u v ] v o [ } u P v u v](https://img.pdfslide.fr/doc/110x75/618d3715a4cce022c34457eb/h-v-u-o-u-v-v-o-u-p-v-u-v.jpg)
