Les Entrepôts de Données - gregory.bonnet.free.fr · Cours SIR Grégory Bonnet Abdel-Illah...

Les Entrepôts de Données

GREYC Dépt informatique :

Master Pro RADIS

GREYC Dépt informatique :

Master Pro RADIS

GREYC Dépt informatique :

Cours SIR

GREYC Dépt informatique :

Cours SIR

Grégory BonnetAbdel-Illah Mouaddib

Systèmes d’information décisionnels

• Nouvelles générations : Systèmes d’information hétérogènes Systèmes d’information décisionnels (SID) Systèmes d’information géographiques et de géo-

localisation

• SID : Information Analyse Prise décision Exemple : données sur les clients d’un magasin, analyse

des comportements des clients, proposer de nouveaux produits

Motivations

• Besoin des entreprises Accéder à toutes les données de l’entreprise Regrouper des informations disséminées Analyser et prendre des décisions rapidement

• Exemples Grande distribution : marketing, maintenance Bancaire : suivi de clients, gestion de portefeuilles Télécommunications : pannes, fraudes, mobilité

Des données aux informations

• Données Montant total des ventes pour la région parisienne Vendeur ayant réalisé le meilleur chiffre d’affaire

• Information Évolution des ventes régionales sur les 5 dernières

années Sur quels produits faire des offres

promotionnelles ? Quelle est la rentabilité d’une activité ?

Gestion des données

• Systèmes OLTP (Online Transaction Processing) Comptabilité, achats, réservation, etc.

• Caractéristiques Priorités : performance, forte disponibilité Temps de réponse : en secondes Modèles : hiérarchique, relationnel, réseaux,

fichiers Contenu de données : organisés par applications Traitement : très structuré, répétitif Utilisateurs : employés, administrateurs, etc.

Limites des OLTP

• OLTP mal adaptés pour les SIDs.• Problèmes :

Analyse de données massives (giga, tera) Lourdeur des requêtes

moins fréquentes plus complexes plus longues nécessitant une agrégation des données de masse.

Extractions de données Qualité des données incertaines

Exemple d’OLTP

• Applications : gestion, vente, distribution de produits ou

services (www.tpc.org/tpce/default.asp)

• Transaction OLTP Nouvelle commande : à saisir Paiement : mise à jour le compte d’un client Livraison : livrer les commandes Stock : gérer l’inventaire du stock

Entrepôts de données

• Un SI dédié aux applications décisionnelles En aval des bases de production En amont des prises de décisions

• Utilisation Banque, assurance : évaluer les risques Commerce : cibler la clientèle, définir une promotion Logistique : offrir les services adéquats (FT) Santé : risque épidémiologiques

• Métiers Finance Intelligence : planifier et diffuser l’information financière Supplier Relationship Management : planifier et piloter les achats

Architecture (simplifiée)

• Approche entrepôt de données :Machine puissante dédiée Souvent parallèleAvec des logiciels médiateurs

(middlewares) de Collecte de données Analyse de données

Caractéristiques des données

• Données historisées ensemble de données variant dans le temps Structurées dans une base de données unique

• Données organisées issues de bases applicatives ou fichiers par

extraction organisées en sujets spécifiques

• Données gérées environnement de stockage particulier aide à la prise de décision

Pourquoi un entrepôt ?

• Objectif : Retrouver une

information historique et transversale à l’entreprise

• Comment : Fédérer et regrouper

l’ensemble des données de l’entreprise

Clientèle

Service finance

Service commercial

Service livraison

Clientèle

Entrepôt

hist

oriq

ue

Données réparties

Regroupement d’information

Une structure de centralisation

Modélisation par sujets

• Objectif exploiter plus efficacement l’entrepôt

• Moyen utilisé classification par sujet fonctionnel et non application. un sujet est souvent une table gérée par l’entrepôt

• Une table est une structure qui isole : des données stratégiques des informations nécessaires des résumés à conserver Calculées par des requêtes avec des fonctions

d’agrégats

Modélisation par sujets

• Sujet = faits (indicateurs) + dimensions (outils)

Faits = données brutes Exemple : chiffre d’affaire, nombre de vente, coûts, marges, etc.

Dimensions = axes d’analyse Exemple : temps, géographie, client, produit, etc.

Sujet Exemple : évolution du chiffre d’affaire sur une période de temps

Schéma en étoile

• Les dimensions sont en relation directe avec les faits

• La granularité doit être la même (information par heure et dimension temporelle en minutes)

• On utilise les dimensions pour voir les faits

Schéma en flocon

• Le schéma en étoile provoque des problèmes de dimensionnement

• Le schéma en flocon permet la hiérarchisation des dimensions

• Il faut floconner si une ligne de la dimension père peut faire plus de 1000 lignes de la dimension fille

• Utilisation de moins en moins fréquente avec les avancées technologiques

Un exemple

Pour un logiciel médiateur ?

Problèmes de cohérence• Entre :

Entrepôt de données Bases de données légataires

• Quelques exemples : Les données de certains sites sont maintenues pendant

une longue période jusqu’à la cohérence. Une mise à jour sur une base peut provoquer des

requêtes sur d’autres bases Les mêmes informations peuvent être enregistrées

sous des formats différents entre les sites

Architecture en trois couches

• Extraction des données Un moniteur est implanté dans chaque base de données Chaque mise à jour est détectée L’entrepôt de donnée en est informé

• Collecte de données Les mises à jours sont intégrées dans l’entrepôt Les données sont restructurées et représentées Organisation par sujets

• Analyse de données formulation de requêtes sur des faits étudiés (courbes

d’évolution) aide à la décision (extrapolation) outils d’extraction et de présentations graphiques variées

Composants d’intégration

• Moniteur : composant capable d’exporter au bon moment des données d’une source locale dans le bon modèle.

• Enveloppeur (Wrapper) : composant capable de traduire les requêtes et les données depuis le modèle source locale vers le modèles de l’entrepôt et vice-versa.

• Médiateur : composant capable de fournir une vision intégrée des données sources par des requêtes.

Quelques problématiques

• Extraction Plusieurs sources sur différentes périodes répétées Déclencheurs (PUSH) ou requêtes (PULL) Estampillage temporel des données

• Accès unifiés aux données Unification des modèles (traduction, annuaires, XML) Unification des accès (même langage de requêtes) Unification des noms (utilisation de « business rules »)

• Nettoyage des données Elimination des doubles, des vides et des incohérences

Architecture opérationnelle

• L’entrepôt est basé sur un serveur relationnel capable de garder des données pendant une longue période pour prendre des décisions.

• Donc : le contenu est volumineux les requêtes décisionnelles sont plus

complexes

• Conséquence : des serveurs parallèles sont indispensables

Conception de l’entrepôt

• Conception difficile car plusieurs paramètres à maîtriser : Dimensionnement de la machine Données mal ciblées Sujets mal centrés Périodes de mise à jour

• Un exercice intellectuel de très haut niveau conception, prototypage, déploiement, livraison, évaluation

• Peu d’outil d’aide à la conception Pentaho Talend

Outils d’analyse de données

• Aide à la décision interroger et analyser les évolutions

• Fouille de données comprendre les relations entre les

données

Online Analytical Processing

• Qu’est-ce que OLAP ? OLAP facilite l’interrogation à partir d’un poste client Analyse fondée sur des interfaces graphiques Présentation de données complexes

• Utilisation d’hyper-cubes (ou data-cubes) représentation 3D des résultats Une dimension temporelle indispensable

Principes

• Vue conceptuelle multidimensionnelle• Transparence• Accessibilité• Constance des temps de réponse• Architecture client-serveur• Indépendance des dimensions• Gestion des matrices creuses• Accès multi-utilisateurs• Pas de restriction sur les opérations inter- et intra-dimensions• Manipulation aisée des données• Simplicité des rapports• Nombre illimité de dimensions et d’éléments

Hypercube

• Représentation 3D des données• Propriétés

Proposer une information agrégée Simplicité des opération Rapidité d’accès aux données Manipulation en plusieurs dimensions

• Gestion des opérations classiques MIN, MAX, COUNT, SUM, AVG

Représentation d’un hypercube

Implantation d’un hypercube

• M-OLAP Tables multidimensionnelles pré-calculées Performant mais limité en taille de données Complexité spatiale accrue

• R-OLAP Tables relationnelles Une nouvelle table est créée pour chaque agrégat Supporte une masse de données, lent et limité par le langage

• H-OLAP Tables relationnelles pour stocker les données Tables multidimensionnelles pour stocker les agrégats Combine les avantages et les limites des deux modèles

Navigation multidimensionnelle

• Projection en deux dimensions• Chiffre d’affaire par produit et par région

• Coupe• Évolution du chiffre d’affaire par produit pour

une région

• Réduction selon une dimension• Chiffre d’affaire par produit

Opérations sur les cubes

• Roll-up• Agréger selon une dimension

• Drill down• Détailler selon une dimension

• Slice and dice• Sélection et projection selon un axe

• Pivot• Tourne le cube pour visualiser une face

Implantation en SQL

SELECT Animal, Lieu, SUM(Quantité) as QuantitéFROM StocksGROUP BY Animal, Lieu WITH CUBE

Animal Lieu Quantite

Chien Paris 12Chat Paris 18Tortue Rome 4Chien Rome 14Chat Naples 9Chien Naples 5Tortue Naples 1

Animal Lieu Quantite

Chat Paris 18Chat Naples 9Chat - 27Chien Paris 12Chien Naples 5Chien Rome 14Chien - 31Tortue Naples 1Tortue Rome 4Tortue - 5- - 63- Paris 30- Naples 15- Rome 18

Implantation en SQL

SELECT Animal, Lieu, SUM(Quantité) as QuantitéFROM StocksGROUP BY Animal, Lieu WITH ROLLUP

Animal Lieu Quantite

Chien Paris 12Chat Paris 18Tortue Rome 4Chien Rome 14Chat Naples 9Chien Naples 5Tortue Naples 1

Animal Lieu Quantite

Chat Paris 18Chat Naples 9Chat - 27Chien Paris 12Chien Naples 5Chien Rome 14Chien - 31Tortue Naples 1Tortue Rome 4Tortue - 5- - 63

Implantation en SQL

SELECT Prod.,SUM([2003]) as [2003], SUM([2004]) as [2004],SUM([2005]) as [2005], SUM([2006]) as [2006]

FROM VentesPIVOT (SUM(Vente) FOR Annee IN ([2003],[2004],[2005],[2006]) AS AnneesGROUP BY Prod.

Prod. 2003 2004 2005 2006

A 9000 10000 12000 12500B 0 18000 0 15000C 1100 850 1000 0

Prod. Annee Vente

A 2005 12000B 2006 15000C 2005 1000A 2006 12500C 2004 850B 2004 18000A 2004 10000C 2003 1100A 2003 9000

Fouille de données

• Définition : Ensemble de techniques d’exploration de

données ayant pour objectif d’en tirer des connaissances sous formes de modèles

• Cycle : Données dans l’entrepôt Fouille de données Production de connaissances

• Objectif : Prédiction de données

Plusieurs techniques

• Statistique : données statistiques (moyenne, variances et écart types) entre les données traitées comme des variables aléatoires.

• Découverte de règles : découvrir que si X alors Y.

• Recherche de modèle fonctionnel : trouver une fonction entre les valeurs en sorties et les valeurs en entrées.

• Classification : la technique de prédilection qui consiste à ranger les données dans des classes prédéfinies

Un exemple en SQL

Calculs en SQL

• Introduction de fonctions d’agrégatsAVG = moyenneMAVG = moyenne mobile STDDEV = écart-typeVARIANCE = varianceCOVARIANCE = covariance…

Un exemple

SELECT COVARIANCE(salaire_courant, salaire_base)

FROM EmployeeWHERE grade = ‘ingénieur’GROUP BY Sexe

Data Webware

• PrincipeCoupler les entrepôts de données et

Internet

• Indispensable pour :Commerce électroniqueClient-serveur WebGestion de données issues du Web.

Bases de données fédérées

• Qu’est-ce qu’une base de données fédérée ? Une base de donnée répartie et hétérogène Utilise des données de différentes sources Exemple : BD relationnelle, fichiers textes, HTML, XML

• Objectif fournir à un utilisateur une vue intégrée des données dynamiquement (techno. PULL) périodiquement (techno. PUSH).

l’entrepôt dans ce cas est donc une BD fédérée