Les Entrepôts de données avancés Partie 1

17/03/2017

1

T 1O. Boussaid, 2017 -

Les Entrepôts de données avancés

Partie 1Pr Omar Boussaïd

2016-2017

O. Boussaid


La Business Intelligence ( BI )

Défi : Transformer une partie de leur système d'information en unSI décisionnel dont la vocation de pilotage devientmajeure.

Ere de l'information : ou de la Donnée

Besoin des entreprises :Ø accéder à toutes les données de l’entreprise

Ø regrouper les informations disséminées

Ø analyser et prendre des décisions rapidement

Exemples d'applications concernées :

§ Grande distribution : marketing, maintenance, ...

§ Bancaire : suivi des clients, gestion de portefeuilles

§ Télécommunications : pannes, fraudes, mobiles, ..

17/03/2017

2


L’esprit humain perçoit l’information selon 5 catégories (d’après Russel Ackoff) :

q les données : se placent au niveau du symbole ;;

q l’information : se réfère aux données qui peuvent être traitées pour devenir utiles ;; (réponses aux questions « qui », « quoi », « où » et « quand ») ;;

q la connaissance : relative à l’information et au traitement des données par l’esprit humain ;; (réponse à la question « comment ») ;;

q la compréhension : appréciation du « pourquoi » ;;

q la perspicacité : capacité à évaluer la compréhension et réagir en conséquence. (Wisdom : sagacité ?)


v Donnée, Information, Connaissances : ?


Th. Es tier - HEC Laus anne

4

v Des données aux décisions

Donnée – Information – Connaissance – Décision

Données C.A. , Lieux des supermarchés, Nombre d’employés…

Informations Dominique Dupont est responsable des ventes chez Carrefour. C’est une femme…

Connaissances Dans la grande distribution, lorsqu’un cadre est une femme, elle occupe un poste de responsabilité de catégorie A.

Décisions A chaque fête lancer une promotion de produits associés à l’événement.


17/03/2017

3


L’information occupe un rôle croissant dans tous les métiers :

q Traitement personnalisé des clients, offres compétitives : Gestion

q Réduction des coûts, gestion des profits : Prospective

q Analyse des comportements des clients, du marché : Communication


v Information


q Données détaillées § courantes ou anciennes§ données opérationnelles (de production)§ Données opérationnelles archivées

q Données agrégées§ Faiblement ou fortement§ Pour mieux répondre aux questions des gestionnaires§ Équilibre entre détails et agrégats : quels attributs à agréger ? quelle unité de temps ?§ idem, encore plus agrégés (EIS)

q Méta-données§ données sur les données : règles d ’extraction, de conversion, d ’agrégation, ...


v Types de données (Th. Estier, HEC Lausanne)

17/03/2017

4


v Système de production

Ø Transaction fréquentes des données sous forme de modifications (Écriture/Lecture)

Ø Les systèmes de production (OLTP) garantissent la cohérence des données

Ø Les systèmes de production sont conçus pour les tâches répétitives et planifiées



Les bases de production : toutes les sources de données(légales, juridiques, fiscales, politiques, techniques, marketing…)

Comment organiser ces différentes données dans un ensemblecohérent afin de procéder à toutes les analyses nécessairespour construire les indicateurs indispensables au pilotagede l'entreprise ?

Par un processus d'entreposagede données(Data Warehousing)

v Passage des données de production aux données décisionnelles


17/03/2017

5


• Entreposage de données : Intégration des données dans une base cible (Entrepôt) structurée à des fins de décision

• Analyse en ligne (OLAP) : (analyses exploratoires)– Vues multidimensionnelles des données– Requêtes décisionnelles en SQL avec agrégation des données– Requêtes interactives en ligne

• Fouille des données : (analyses confirmatoires)– Apprentissage automatique supervisé ou non supervisé– Analyses explicatives– Analyses prédictives

v Systèmes d’Informations Décisionnels



q Propriétés ACID des bases de données relationnelles :

– A : ATOMATICITY (Atomicité) : Les maj sont atomiques (réalisées en entier)– C : CONSISTENCY (Cohérence) : respect de l’intégrité des données lors des modifications– I : ISOLATION (Isolation) : pas d’interférences entre les transactions– D : DURABILITY (Durabilité) : les transactions sont lancées de manière définitive

q Théorème de CAP d’Eric Brewer :

- C : CONSISTENCY (Consistance) : atomicité des transactions lors des maj- A : AVAILABILITY (Disponibilité) : Haute disponibilités des données pour tous les utilisateurs - P : PARTITION TOLERENCE (Tolérence au partitionnement) : Le système fonctionne en dépit

d’un partitionnement arbitraire du à une panne du réseau

v Propriétés des bases de données


17/03/2017

6


Evolution des unités de volumétrie des données :Unité Symb

oleValeur Observation

Octet Octet 1 o représente un caractère d'imprimerie (8 bits)

KiloOctet Ko 1 000(1024)

30 Ko : une page de texte100 Ko : image numérique basse résolution

MegaOctet Mo 10 6 5 Mo : un morceau de musique500 Mo :un CD-‐Rom

GigaOctet Go 10 9 1 Go : 1 film de 2 heures500 Go à un HD de PC

TeraOctet To 10 12 1 To : 6 millions de livres ; la moitiés du catalogue de la BN de France 10 To : presque la volumétrie de la bibliothèque du Congrès Américain

PetaOctet Po 10 15 1 Po : 2 milliards de photos numériques de résolution moyenne8 Po : très grande partie de l'information sur Internet

ExaOctet Eo 10 18 5 Eo : Toutes les informations produites jusqu’à 2003

ZettaOctet Zo 10 21 1,8 Zo : La totalité des informations produites jusqu’à 2011

YottaOctet Yo 1024 1 Yo : C’est ce que pourra traiter un data center simultanément

v Volumes des entrepôts et données massives La Business Intelligence ( BI )


v De la donnée… à l’action

Extrait de ‘’Introduction to Business Intelligence’’, Mykola Pechenizkiy, university od Jyväskylaä


17/03/2017

7


v De la donnée … à l’action

Extrait de ‘’Introduction to Business Intelligence’’, Mykola Pechenizkiy, university od Jyväskylaä

Processus de BI


T 14O. Boussaid, 2017 -Extrait de ‘’Introduction to Business Intelligence’’, Mykola Pechenizkiy, university od Jyväskylaä

v De la donnée … à l’action : Cycle de la BILa Business Intelligence ( BI )

17/03/2017

8


Entrepôt de Données

Système d'Info. de ProductionOrientation : Gestion Système d'Info. Décisionnel

Orientation : Pilotage

BD Magasins

BD Clients

BD Produits

BD Compta

BD DRH

BD Marketing

BD Fournisseurs

Flux de données externes



v Architecture d’un SI Décisionnel

Entrepôt de données

Méta données

Data Marts

Administrateur

OLAP

Data Mining

Analyses statistiques

E TL

Bases de

production

OLAP Reporting


17/03/2017

9


v Business Intelligence LIKE Business Analytics

Exploitation des données directement (Business Analytics) ou indirectement (Business Intelligence)

Socle Big data : intégration en temps réel des flux de données structurées et non structurées, NoSQL et relationnelles

Données sources (internes, externes, structurées, non structurées)


Documents

Les Entrepôts de données avancés Partie 1