Upload
vukiet
View
226
Download
0
Embed Size (px)
Citation preview
Les Entrepôts de Données
GREYC Dépt informatique :
Master Pro RADIS
GREYC Dépt informatique :
Master Pro RADIS
GREYC Dépt informatique :
Cours SIR
GREYC Dépt informatique :
Cours SIR
Grégory BonnetAbdel-Illah Mouaddib
Systèmes d’information décisionnels
• Nouvelles générations : Systèmes d’information hétérogènes Systèmes d’information décisionnels (SID) Systèmes d’information géographiques et de géo-
localisation
• SID : Information Analyse Prise décision Exemple : données sur les clients d’un magasin, analyse
des comportements des clients, proposer de nouveaux produits
Motivations
• Besoin des entreprises Accéder à toutes les données de l’entreprise Regrouper des informations disséminées Analyser et prendre des décisions rapidement
• Exemples Grande distribution : marketing, maintenance Bancaire : suivi de clients, gestion de portefeuilles Télécommunications : pannes, fraudes, mobilité
Des données aux informations
• Données Montant total des ventes pour la région parisienne Vendeur ayant réalisé le meilleur chiffre d’affaire
• Information Évolution des ventes régionales sur les 5 dernières
années Sur quels produits faire des offres
promotionnelles ? Quelle est la rentabilité d’une activité ?
Gestion des données
• Systèmes OLTP (Online Transaction Processing) Comptabilité, achats, réservation, etc.
• Caractéristiques Priorités : performance, forte disponibilité Temps de réponse : en secondes Modèles : hiérarchique, relationnel, réseaux,
fichiers Contenu de données : organisés par applications Traitement : très structuré, répétitif Utilisateurs : employés, administrateurs, etc.
Limites des OLTP
• OLTP mal adaptés pour les SIDs.• Problèmes :
Analyse de données massives (giga, tera) Lourdeur des requêtes
moins fréquentes plus complexes plus longues nécessitant une agrégation des données de masse.
Extractions de données Qualité des données incertaines
Exemple d’OLTP
• Applications : gestion, vente, distribution de produits ou
services (www.tpc.org/tpce/default.asp)
• Transaction OLTP Nouvelle commande : à saisir Paiement : mise à jour le compte d’un client Livraison : livrer les commandes Stock : gérer l’inventaire du stock
Entrepôts de données
• Un SI dédié aux applications décisionnelles En aval des bases de production En amont des prises de décisions
• Utilisation Banque, assurance : évaluer les risques Commerce : cibler la clientèle, définir une promotion Logistique : offrir les services adéquats (FT) Santé : risque épidémiologiques
• Métiers Finance Intelligence : planifier et diffuser l’information financière Supplier Relationship Management : planifier et piloter les achats
Architecture (simplifiée)
• Approche entrepôt de données :Machine puissante dédiée Souvent parallèleAvec des logiciels médiateurs
(middlewares) de Collecte de données Analyse de données
Caractéristiques des données
• Données historisées ensemble de données variant dans le temps Structurées dans une base de données unique
• Données organisées issues de bases applicatives ou fichiers par
extraction organisées en sujets spécifiques
• Données gérées environnement de stockage particulier aide à la prise de décision
Pourquoi un entrepôt ?
• Objectif : Retrouver une
information historique et transversale à l’entreprise
• Comment : Fédérer et regrouper
l’ensemble des données de l’entreprise
Clientèle
Service finance
Service commercial
Service livraison
Clientèle
Entrepôt
hist
oriq
ue
Données réparties
Regroupement d’information
Une structure de centralisation
Modélisation par sujets
• Objectif exploiter plus efficacement l’entrepôt
• Moyen utilisé classification par sujet fonctionnel et non application. un sujet est souvent une table gérée par l’entrepôt
• Une table est une structure qui isole : des données stratégiques des informations nécessaires des résumés à conserver Calculées par des requêtes avec des fonctions
d’agrégats
Modélisation par sujets
• Sujet = faits (indicateurs) + dimensions (outils)
Faits = données brutes Exemple : chiffre d’affaire, nombre de vente, coûts, marges, etc.
Dimensions = axes d’analyse Exemple : temps, géographie, client, produit, etc.
Sujet Exemple : évolution du chiffre d’affaire sur une période de temps
Schéma en étoile
• Les dimensions sont en relation directe avec les faits
• La granularité doit être la même (information par heure et dimension temporelle en minutes)
• On utilise les dimensions pour voir les faits
Schéma en flocon
• Le schéma en étoile provoque des problèmes de dimensionnement
• Le schéma en flocon permet la hiérarchisation des dimensions
• Il faut floconner si une ligne de la dimension père peut faire plus de 1000 lignes de la dimension fille
• Utilisation de moins en moins fréquente avec les avancées technologiques
Un exemple
Pour un logiciel médiateur ?
Problèmes de cohérence• Entre :
Entrepôt de données Bases de données légataires
• Quelques exemples : Les données de certains sites sont maintenues pendant
une longue période jusqu’à la cohérence. Une mise à jour sur une base peut provoquer des
requêtes sur d’autres bases Les mêmes informations peuvent être enregistrées
sous des formats différents entre les sites
Architecture en trois couches
• Extraction des données Un moniteur est implanté dans chaque base de données Chaque mise à jour est détectée L’entrepôt de donnée en est informé
• Collecte de données Les mises à jours sont intégrées dans l’entrepôt Les données sont restructurées et représentées Organisation par sujets
• Analyse de données formulation de requêtes sur des faits étudiés (courbes
d’évolution) aide à la décision (extrapolation) outils d’extraction et de présentations graphiques variées
Composants d’intégration
• Moniteur : composant capable d’exporter au bon moment des données d’une source locale dans le bon modèle.
• Enveloppeur (Wrapper) : composant capable de traduire les requêtes et les données depuis le modèle source locale vers le modèles de l’entrepôt et vice-versa.
• Médiateur : composant capable de fournir une vision intégrée des données sources par des requêtes.
Quelques problématiques
• Extraction Plusieurs sources sur différentes périodes répétées Déclencheurs (PUSH) ou requêtes (PULL) Estampillage temporel des données
• Accès unifiés aux données Unification des modèles (traduction, annuaires, XML) Unification des accès (même langage de requêtes) Unification des noms (utilisation de « business rules »)
• Nettoyage des données Elimination des doubles, des vides et des incohérences
Architecture opérationnelle
• L’entrepôt est basé sur un serveur relationnel capable de garder des données pendant une longue période pour prendre des décisions.
• Donc : le contenu est volumineux les requêtes décisionnelles sont plus
complexes
• Conséquence : des serveurs parallèles sont indispensables
Conception de l’entrepôt
• Conception difficile car plusieurs paramètres à maîtriser : Dimensionnement de la machine Données mal ciblées Sujets mal centrés Périodes de mise à jour
• Un exercice intellectuel de très haut niveau conception, prototypage, déploiement, livraison, évaluation
• Peu d’outil d’aide à la conception Pentaho Talend
Outils d’analyse de données
• Aide à la décision interroger et analyser les évolutions
• Fouille de données comprendre les relations entre les
données
Online Analytical Processing
• Qu’est-ce que OLAP ? OLAP facilite l’interrogation à partir d’un poste client Analyse fondée sur des interfaces graphiques Présentation de données complexes
• Utilisation d’hyper-cubes (ou data-cubes) représentation 3D des résultats Une dimension temporelle indispensable
Principes
• Vue conceptuelle multidimensionnelle• Transparence• Accessibilité• Constance des temps de réponse• Architecture client-serveur• Indépendance des dimensions• Gestion des matrices creuses• Accès multi-utilisateurs• Pas de restriction sur les opérations inter- et intra-dimensions• Manipulation aisée des données• Simplicité des rapports• Nombre illimité de dimensions et d’éléments
Hypercube
• Représentation 3D des données• Propriétés
Proposer une information agrégée Simplicité des opération Rapidité d’accès aux données Manipulation en plusieurs dimensions
• Gestion des opérations classiques MIN, MAX, COUNT, SUM, AVG
Représentation d’un hypercube
Implantation d’un hypercube
• M-OLAP Tables multidimensionnelles pré-calculées Performant mais limité en taille de données Complexité spatiale accrue
• R-OLAP Tables relationnelles Une nouvelle table est créée pour chaque agrégat Supporte une masse de données, lent et limité par le langage
• H-OLAP Tables relationnelles pour stocker les données Tables multidimensionnelles pour stocker les agrégats Combine les avantages et les limites des deux modèles
Navigation multidimensionnelle
• Projection en deux dimensions• Chiffre d’affaire par produit et par région
• Coupe• Évolution du chiffre d’affaire par produit pour
une région
• Réduction selon une dimension• Chiffre d’affaire par produit
Opérations sur les cubes
• Roll-up• Agréger selon une dimension
• Drill down• Détailler selon une dimension
• Slice and dice• Sélection et projection selon un axe
• Pivot• Tourne le cube pour visualiser une face
Implantation en SQL
SELECT Animal, Lieu, SUM(Quantité) as QuantitéFROM StocksGROUP BY Animal, Lieu WITH CUBE
Animal Lieu Quantite
Chien Paris 12Chat Paris 18Tortue Rome 4Chien Rome 14Chat Naples 9Chien Naples 5Tortue Naples 1
Animal Lieu Quantite
Chat Paris 18Chat Naples 9Chat - 27Chien Paris 12Chien Naples 5Chien Rome 14Chien - 31Tortue Naples 1Tortue Rome 4Tortue - 5- - 63- Paris 30- Naples 15- Rome 18
Implantation en SQL
SELECT Animal, Lieu, SUM(Quantité) as QuantitéFROM StocksGROUP BY Animal, Lieu WITH ROLLUP
Animal Lieu Quantite
Chien Paris 12Chat Paris 18Tortue Rome 4Chien Rome 14Chat Naples 9Chien Naples 5Tortue Naples 1
Animal Lieu Quantite
Chat Paris 18Chat Naples 9Chat - 27Chien Paris 12Chien Naples 5Chien Rome 14Chien - 31Tortue Naples 1Tortue Rome 4Tortue - 5- - 63
Implantation en SQL
SELECT Prod.,SUM([2003]) as [2003], SUM([2004]) as [2004],SUM([2005]) as [2005], SUM([2006]) as [2006]
FROM VentesPIVOT (SUM(Vente) FOR Annee IN ([2003],[2004],[2005],[2006]) AS AnneesGROUP BY Prod.
Prod. 2003 2004 2005 2006
A 9000 10000 12000 12500B 0 18000 0 15000C 1100 850 1000 0
Prod. Annee Vente
A 2005 12000B 2006 15000C 2005 1000A 2006 12500C 2004 850B 2004 18000A 2004 10000C 2003 1100A 2003 9000
Fouille de données
• Définition : Ensemble de techniques d’exploration de
données ayant pour objectif d’en tirer des connaissances sous formes de modèles
• Cycle : Données dans l’entrepôt Fouille de données Production de connaissances
• Objectif : Prédiction de données
Plusieurs techniques
• Statistique : données statistiques (moyenne, variances et écart types) entre les données traitées comme des variables aléatoires.
• Découverte de règles : découvrir que si X alors Y.
• Recherche de modèle fonctionnel : trouver une fonction entre les valeurs en sorties et les valeurs en entrées.
• Classification : la technique de prédilection qui consiste à ranger les données dans des classes prédéfinies
Un exemple en SQL
Calculs en SQL
• Introduction de fonctions d’agrégatsAVG = moyenneMAVG = moyenne mobile STDDEV = écart-typeVARIANCE = varianceCOVARIANCE = covariance…
Un exemple
SELECT COVARIANCE(salaire_courant, salaire_base)
FROM EmployeeWHERE grade = ‘ingénieur’GROUP BY Sexe
Data Webware
• PrincipeCoupler les entrepôts de données et
Internet
• Indispensable pour :Commerce électroniqueClient-serveur WebGestion de données issues du Web.
Bases de données fédérées
• Qu’est-ce qu’une base de données fédérée ? Une base de donnée répartie et hétérogène Utilise des données de différentes sources Exemple : BD relationnelle, fichiers textes, HTML, XML
• Objectif fournir à un utilisateur une vue intégrée des données dynamiquement (techno. PULL) périodiquement (techno. PUSH).
l’entrepôt dans ce cas est donc une BD fédérée