1/1511/04/23 EDA 07 H. Hachim et N. Novelli

Hassani Hachim et Noël Novelli

Laboratoire d’Informatique Fondamentale de Marseille (LIF)

Structure Réutilisable pour le

Calcul et la Manipulation des Cubes de Données

2/1511/04/23 EDA 07 H. Hachim et N. Novelli

Cube de données

Problématique

Etat de l’art

Pré-calcul de cubes de données : DVCube

Caractérisation

Applications d’un DVCube

EXPERIMENTATIONS

CONCLUSION et PERSPECTIVES

Structure Réutilisable pour le

Calcul et la Manipulation des Cubes de Données

3/15

Cube de données

SELECT All, All, All SUM( M ) FROM Table UNION

SELECT A, All, All SUM( M ) FROM Table Group By A UNION

SELECT All, B, All SUM( M ) FROM Table Group By B UNION

SELECT All, All, C SUM( M ) FROM Table Group By C UNION

SELECT A, B, All SUM( M ) FROM Table Group By A, B UNION

SELECT A, All, C SUM( M ) FROM Table Group By A, C UNION

SELECT All, B, C SUM( M ) FROM Table Group By B, C UNION

SELECT A, B, C SUM( M ) FROM Table Group By A, B, C

Un cube de données est l'union des toutes les combinaisons possibles de Group-by sur une relation (Jim Gray et al. [ICDE 96])

SELECT A, B, C, SUM( M ) FROM Table CUBE BY A, B, C

2k Group By (cuboïdes)

11/04/23 EDA 07 H. Hachim et N. Novelli

4/15

Treillis de parties de A, B, C, D et E

Espace de recherche exponentielle : 2k Group By (cuboïdes)

11/04/23 EDA 07 H. Hachim et N. Novelli

Problématique

5/15

Calculer de cube de donnéespipeHash, pipeSort (S. Sarawagi 96)Overlap (S. Agrawal, R. Ramakrishnan 96)ArrayCube (Y. Zhao 97)PartitionedCube and MemoryCube (K. A. Ross, D. Srivastava 97)

Améliorer le temps de calcul BUC (K. Beyer, R. Ramakrishnan 99) : Approche Bottom-Up, Cube incomplet APIC (R. Cicchetti, N. Novelli, L. Lakhal 2001)

Réduire les besoins mémoire Quotient Cube (L. V. S. Lakshmanan 2002)Cube Lattice (A. Casali, R. Cicchetti, L. Lakhal 2003)

Approches diverses Cube eparpilléSélection de vuesCalcul parallèle... 11/04/23 EDA 07 H. Hachim et N. Novelli

Etat de l’art

6/1511/04/23 EDA 07 H. Hachim et N. Novelli

Pré-calcul de cubes de données : DVCube

7/15

Caractérisation

- DV-Classe

- Intersection de 2 DV-Classe

- DV-Partition

- Produit de 2 DV-Partitions

- DV-Cube

- Algorithme RSCube

11/04/23 EDA 07 H. Hachim et N. Novelli

8/15

- Calcul de plusieurs cubes de données- Calcul de cube à la volée- Calcul de cubes partiels- Recalcul de cubes de données(données téléphoniques, bancaires, météorologiques...)

- Calcul de cubes de données en réseau

11/04/23 EDA 07 H. Hachim et N. Novelli

Applications d’un DVCube (1/5)

9/15

- Calcul de plusieurs cubes de données- Calcul de cube à la volée- Calcul de cubes partiels- Recalcul de cubes de données(données téléphoniques, bancaires, météorologiques...)

- Calcul de cubes de données en réseau

11/04/23 EDA 07 H. Hachim et N. Novelli

Applications d’un DVCube (2/5)

10/15

- Calcul de plusieurs cubes de données- Calcul de cube à la volée- Calcul de cubes partiels- Recalcul de cubes de données(données téléphoniques, bancaires, météorologiques...)

- Calcul de cubes de données en réseau

11/04/23 EDA 07 H. Hachim et N. Novelli

Applications d’un DVCube (3/5)

11/15

- Calcul de plusieurs cubes de données- Calcul de cube à la volée- Calcul de cubes partiels- Recalcul de cubes de données(données téléphoniques, bancaires, météorologiques...)

- Calcul de cubes de données en réseau

11/04/23 EDA 07 H. Hachim et N. Novelli

Applications d’un DVCube

15x

65

45

35

15

12/15

- Calcul de plusieurs cubes de données- Calcul de cube à la volée- Calcul de cubes partiels- Recalcul de cubes de données(données téléphoniques, bancaires, météorologiques...)

- Calcul de cubes de données en réseau

11/04/23 EDA 07 H. Hachim et N. Novelli

Applications d’un DVCube

13/15

EXPERIMENTATIONS (1/2)

(Casali et al. (2006))

11/04/23 EDA 07 H. Hachim et N. Novelli

14/15

EXPERIMENTATIONS (2/2)

11/04/23 EDA 07 H. Hachim et N. Novelli

15/15

CONCLUSION et PERSPECTIVES

> Notion de pré-calcul de cubes : DVCube> Algorithme parallèle de calcul de cubes de données.> Recalcul de cubes de données> Calcul de plusieurs cubes de données> Calcul de Cubes de Données partiels> Calcul de cubes de données à la volée> Calcul de cubes de données en réseau

+ Cubes incomplets+ Résumé de DVCube+ Cubes incrémentale

11/04/23 EDA 07 H. Hachim et N. Novelli