Intégration de données Cédric Gueydan - Décembre 2004 -

Intégration de données

Cédric Gueydan

- Décembre 2004 -

p. 2Intégration de données

Plan

21/12/04

- Hétérogénéité

- Différentes approches

- Médiateurs

Introduction

Besoin : interroger différentes sources de données simultanément et combiner les résultats obtenus afin de fournir une information non disponible directement

Problème : hétérogénéité des sources

Objectif : donner à l'utilisateur l'illusion qu'il interroge une seule et unique source

p. 3Intégration de données21/12/04

Conflits sémantiques

Conflits intensionnels

Conflits de données

Conflits schématiques

Conflits de types de données

Conflits de labels

Conflits d’aggregations

Conflits de généralisations

Conflits de nommage

Conflits de graduation/d’échelle

Conflits confondants

Conflits de domaines

Conflits de contraintes d’intégrité

Hétérogénéité – conflits (Goh 1997)


Conflits sémantiques

Conflits intensionnels

Conflits de données

Conflits schématiques

Conflits de types de données

Conflits de labels

Conflits d’aggregations

Conflits de généralisations

Conflits de nommage

Conflits de graduation/d’échelle

Conflits confondants

Conflits de domaines

Conflits de contraintes d’intégrité

Hétérogénéité – conflits (Goh 1997)


Hétérogénéité sémantique


Causes d’hétérogénéité sémantique:

- conflits de confusion: Items d’informations semblant de signification identiques mais différents en réalité

- conflits de graduation/échelle: utilisation de différents référentiels pour mesurer une valeur

- conflits de nommage: exemple : homonymes/synonymes

21/12/04

Différentes approches

- matérialisée (entrepôt de données ou data warehouse)


- virtuelle (médiateur)

21/12/04


Approche matérialisée - 1

Idée : l'utilisateur interroge une base de données réelle (l’entrepôt) contenant une copie des données pertinentes des différentes sources considérées



Source 1

Entrepôt

Utilisateur

Intégrateur

Adaptateur

Source n

Adaptateur

Requête

. . . . . . .



21/12/04


Source 1

Entrepôt

Utilisateur

Intégrateur

Adaptateur

Source n

Adaptateur

Requête

. . . . . . .



21/12/04


Principales questions :- Peuplement- Mise à jour- Définition du schéma de l’entrepôt



21/12/04


Idée : l'utilisateur interroge un médiateur chargé de traduire la requête pour interroger les différentes sources et de combiner les résultats obtenus


Approche virtuelle - 1

21/12/04


Source 1

Utilisateur

Médiateur

Adaptateur

Requêtes

. . . . . . .

Requêtes

Requêtes

Source n

Adaptateur

Requêtes



21/12/04


Requête formulée dans les termes du schéma global (du médiateur)

Source 1

Utilisateur

Médiateur

Adaptateur

Requêtes

. . . . . . .

Requêtes

Requêtes

Adaptateur

Requêtes

Source np. 14Intégration de données


21/12/04


Source 1

Utilisateur

Médiateur

Adaptateur

Requêtes

. . . . . . .

Requêtes

Requêtes

Adaptateur

Requêtes



Schéma global

Schéma source n

Schéma source 1

Module de gestion des requêtes

. . .

Reformulation, optimisation, exécution des requêtes

21/12/04


Décomposition en sous-requêtes basées sur les vues abstraites des sources

Source 1

Utilisateur

Médiateur

Adaptateur

Requêtes

. . . . . . .

Requêtes

Requêtes

Adaptateur

Requêtes



21/12/04


Traduction des sous-requêtes et interrogation des sources

Source 1

Utilisateur

Médiateur

Adaptateur

Requêtes

. . . . . . .

Requêtes

Requêtes

Adaptateur

Requêtes

Source np. 17Intégration de données21/12/04


Source 1

Utilisateur

Médiateur

Adaptateur

Requêtes

. . . . . . .

Requêtes

Requêtes

Source n

Adaptateur

Requêtes


Réponse = chemin inverse



21/12/04


Les données sont stockées uniquement au niveau des sources

Le médiateur contient des vues abstraites sur ces sources

Les adaptateurs traduisent les requêtes exprimées par les vues dans le langage spécifique de chaque source



21/12/04



Principales questions :

- définition du schéma global- définition des schémas sources - mapping schéma global / schémas des sources


21/12/04


Comparaison - 1

Matérialisée Virtuelle

performances

historique

volume

actualisation temps réel

+ -

+ -

-

-

+

+ajout/suppression de sources +-

complexité +-



Comparaison - 2

Approche virtuelle préférable si :- les sources sont mises à jour fréquemment- les sources sont très nombreuses- il est impossible de prédire les requêtes de l'utilisateur


Médiateur

Correspondance entre schéma global et schémas sources :- GAV : Global As View schéma global défini en termes des sources- LAV : Local As View sources définies en termes du schéma global

Langage pour modéliser :- le schéma global- les vues sur les sources- les requêtes utilisateur

Choix de conception :


Médiateur

Global schema: movie(Title;Year; Director)european(Director)review(Title; Critique)

Source 1: r1 (Title;Year; Director ) since 1960, european directors

Source 2: r2 (Title;Critique) since 1990


Exemple de requête:

Titres et critiques de film en 1998 :

SELECT Title, Critique FROM movie JOIN reviewWHERE Year=1998

[Lenzerini] [Halevy]

21/12/04

Règles de mapping GAV:


Médiateur

- Mapping – GAV -




CREATE VIEW movie (Title; Year; Director) AS

SELECT Title, Year, Director FROM r1

…21/12/04

CREATE VIEW movie (Title; Year; Director) AS



Médiateur

- Mapping – GAV -





…21/12/04

Règles de mapping LAV:


CREATE VIEW r1 (Title; Year; Director) AS

SELECT Title, Year, Director FROM movie JOIN europeanWHERE Year >= 1960

Médiateur

- Mapping – LAV -




21/12/04

…

CREATE VIEW r1 (Title; Year; Director) AS

SELECT Title, Year, Director FROM movie JOIN europeanWHERE Year >= 1960






Médiateur

- Mapping – LAV -

21/12/04

…

Médiateur


Comparaison [Knoblock] [Lenzerini]

GAV LAV

Non modulaire: l'addition de nouvelles sources nécessite la modification du schéma global

Bonne modularité: l'addition de nouvelles sources est simple

Simplicité de la reformulation de requête (dépliement)

Difficulté de la reformulation de requête (inférence)

21/12/04

Médiateur

Architecture : - combinaison entrepôt / médiateur (Xylème)

Conception schéma : - BAV : Both As View- GLAV : Global Local As View- BGLAV : BYU Global Local As View (Brigham Young University)


Autres approches :

21/12/04


PicselTsimmisSimsXylemeMomisInformation ManifoldObserverHermesInfomaster…

→ Nombreux systèmes existants:

→ Tous présentent une approche différente

21/12/04

Conclusion

→ Pas de solution « miracle »


Médiateur


- Traitement des requêtes – GAV -

Reformulation par simple dépliement VIEW movie (Title; Year; Director) AS


Rappel des règles de mapping :

Exemple de requête utilisateur :SELECT Title, Critique FROM movie JOIN reviewWHERE Year=1998

Niveau schéma global

Requête:SELECT Title, Critique FROM r1 JOIN r2WHERE Year=1998

Niveau schémas sources

…

21/12/04



Requête:SELECT Title, Critique FROM r1 JOIN r2WHERE Year=1998

Reformulation par simple dépliement


Niveau schémas sources

Médiateur

- Traitement des requêtes – GAV -

VIEW movie (Title; Year; Director) ASSELECT Title, Year, Director FROM r1


…

21/12/04




Reformulation nécessitant inférence


VIEW r1 (Title; Year; Director) ASSELECT Title, Year, Director FROM movie JOIN europeanWHERE Year >= 1960

Niveau schémas sourcesSELECT Title, CritiqueFROM r2 JOIN r1WHERE year = 1998

Requête:

Médiateur

- Traitement des requêtes – LAV -

…

21/12/04

VIEW r1 (Title; Year; Director) ASSELECT Title, Year, Director FROM movie JOIN europeanWHERE Year >= 1960



Reformulation nécessitant inférence


Niveau schémas sourcesSELECT Title, CritiqueFROM r2 JOIN r1WHERE year = 1998

Requête:

Médiateur

- Traitement des requêtes – LAV -


…

21/12/04



CREATE VIEW movie (Title; Year; Director) ASSELECT Title, Year, Director FROM r1

CREATE VIEW european (Director) ASSELECT Director FROM r1

CREATE VIEW review (Title; Critique) ASSELECT Title, Critique FROM r2

Médiateur

- Mapping – GAV -




21/12/04



CREATE VIEW movie (Title; Year; Director) ASSELECT Title, Year, Director FROM r1

CREATE VIEW european (Director) ASSELECT Director FROM r1

CREATE VIEW review (Title; Critique) ASSELECT Title, Critique FROM r2

Médiateur

- Mapping – GAV -




21/12/04



CREATE VIEW r1 (Title; Year; Director) ASSELECT Title, Year, Director FROM movie JOIN europeanWHERE Year >= 1960

CREATE VIEW r2 (Director) ASSELECT Title, Critique FROM movie JOIN reviewWHERE YEAR >= 1990

Médiateur

- Mapping – LAV -




21/12/04






CREATE VIEW r1 (Title; Year; Director) ASSELECT Title, Year, Director FROM movie JOIN europeanWHERE Year >= 1960

CREATE VIEW r2 (Director) ASSELECT Title, Critique FROM movie JOIN reviewWHERE YEAR >= 1990

Médiateur

- Mapping – LAV -

21/12/04

Documents

Intégration de données Cédric Gueydan - Décembre 2004 -