View
103
Download
0
Category
Preview:
Citation preview
1/1511/04/23 EDA 07 H. Hachim et N. Novelli
Hassani Hachim et Noël Novelli
Laboratoire d’Informatique Fondamentale de Marseille (LIF)
Structure Réutilisable pour le
Calcul et la Manipulation des Cubes de Données
2/1511/04/23 EDA 07 H. Hachim et N. Novelli
Cube de données
Problématique
Etat de l’art
Pré-calcul de cubes de données : DVCube
Caractérisation
Applications d’un DVCube
EXPERIMENTATIONS
CONCLUSION et PERSPECTIVES
Structure Réutilisable pour le
Calcul et la Manipulation des Cubes de Données
3/15
Cube de données
SELECT All, All, All SUM( M ) FROM Table UNION
SELECT A, All, All SUM( M ) FROM Table Group By A UNION
SELECT All, B, All SUM( M ) FROM Table Group By B UNION
SELECT All, All, C SUM( M ) FROM Table Group By C UNION
SELECT A, B, All SUM( M ) FROM Table Group By A, B UNION
SELECT A, All, C SUM( M ) FROM Table Group By A, C UNION
SELECT All, B, C SUM( M ) FROM Table Group By B, C UNION
SELECT A, B, C SUM( M ) FROM Table Group By A, B, C
Un cube de données est l'union des toutes les combinaisons possibles de Group-by sur une relation (Jim Gray et al. [ICDE 96])
SELECT A, B, C, SUM( M ) FROM Table CUBE BY A, B, C
2k Group By (cuboïdes)
11/04/23 EDA 07 H. Hachim et N. Novelli
4/15
Treillis de parties de A, B, C, D et E
Espace de recherche exponentielle : 2k Group By (cuboïdes)
11/04/23 EDA 07 H. Hachim et N. Novelli
Problématique
5/15
Calculer de cube de donnéespipeHash, pipeSort (S. Sarawagi 96)Overlap (S. Agrawal, R. Ramakrishnan 96)ArrayCube (Y. Zhao 97)PartitionedCube and MemoryCube (K. A. Ross, D. Srivastava 97)
Améliorer le temps de calcul BUC (K. Beyer, R. Ramakrishnan 99) : Approche Bottom-Up, Cube incomplet APIC (R. Cicchetti, N. Novelli, L. Lakhal 2001)
Réduire les besoins mémoire Quotient Cube (L. V. S. Lakshmanan 2002)Cube Lattice (A. Casali, R. Cicchetti, L. Lakhal 2003)
Approches diverses Cube eparpilléSélection de vuesCalcul parallèle... 11/04/23 EDA 07 H. Hachim et N. Novelli
Etat de l’art
6/1511/04/23 EDA 07 H. Hachim et N. Novelli
Pré-calcul de cubes de données : DVCube
7/15
Caractérisation
- DV-Classe
- Intersection de 2 DV-Classe
- DV-Partition
- Produit de 2 DV-Partitions
- DV-Cube
- Algorithme RSCube
11/04/23 EDA 07 H. Hachim et N. Novelli
8/15
- Calcul de plusieurs cubes de données- Calcul de cube à la volée- Calcul de cubes partiels- Recalcul de cubes de données(données téléphoniques, bancaires, météorologiques...)
- Calcul de cubes de données en réseau
11/04/23 EDA 07 H. Hachim et N. Novelli
Applications d’un DVCube (1/5)
9/15
- Calcul de plusieurs cubes de données- Calcul de cube à la volée- Calcul de cubes partiels- Recalcul de cubes de données(données téléphoniques, bancaires, météorologiques...)
- Calcul de cubes de données en réseau
11/04/23 EDA 07 H. Hachim et N. Novelli
Applications d’un DVCube (2/5)
10/15
- Calcul de plusieurs cubes de données- Calcul de cube à la volée- Calcul de cubes partiels- Recalcul de cubes de données(données téléphoniques, bancaires, météorologiques...)
- Calcul de cubes de données en réseau
11/04/23 EDA 07 H. Hachim et N. Novelli
Applications d’un DVCube (3/5)
11/15
- Calcul de plusieurs cubes de données- Calcul de cube à la volée- Calcul de cubes partiels- Recalcul de cubes de données(données téléphoniques, bancaires, météorologiques...)
- Calcul de cubes de données en réseau
11/04/23 EDA 07 H. Hachim et N. Novelli
Applications d’un DVCube
15x
65
45
35
15
12/15
- Calcul de plusieurs cubes de données- Calcul de cube à la volée- Calcul de cubes partiels- Recalcul de cubes de données(données téléphoniques, bancaires, météorologiques...)
- Calcul de cubes de données en réseau
11/04/23 EDA 07 H. Hachim et N. Novelli
Applications d’un DVCube
13/15
EXPERIMENTATIONS (1/2)
(Casali et al. (2006))
11/04/23 EDA 07 H. Hachim et N. Novelli
14/15
EXPERIMENTATIONS (2/2)
11/04/23 EDA 07 H. Hachim et N. Novelli
15/15
CONCLUSION et PERSPECTIVES
> Notion de pré-calcul de cubes : DVCube> Algorithme parallèle de calcul de cubes de données.> Recalcul de cubes de données> Calcul de plusieurs cubes de données> Calcul de Cubes de Données partiels> Calcul de cubes de données à la volée> Calcul de cubes de données en réseau
+ Cubes incomplets+ Résumé de DVCube+ Cubes incrémentale
11/04/23 EDA 07 H. Hachim et N. Novelli
Recommended