Architecture des entrepôts de données

MTI820 −Entrepôtsdedonnéesetintelligenced’affaires

Architecturedesentrepôtsdedonnées

Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 1

Lecycledevied’unprojetenBI• Diagrammedefluxdetravail:

Planificationdeprojet/programme

Définitiondes

besoinsd’affaires

Conception del’architecturetechnique

Modélisationdesdonnées

Conception desapplicationde

Sélectionetinstallationdes

produits

Conceptionphysique

Conception etdéveloppementdusystèmeETL

Développementdesapplications

Déploiement

Croissance

Maintenance

Gestiondeprojet/programme

Questions• Àquoisertleplanarchitectureld’unesolutiondeBI?

• Quelssontlesfacteurspouvantavoirunimpactsurl’architecturedelasolution?

Architecturetechnique

• Besoinsd’affaires:– « Quedoit-onfaire? »

• Architecture:– « Commentallons-nouslefaire ?»

Lavaleurdel’architecture• Encouragelasatisfactiondesbesoins:– Lesbesoinstechniquesdériventdesbesoinsd’affaires;– Documentsd’architecture.

• Facilite lacommunication:– Illustrelesdifférentsrôlesauseindusystème;– Communiquelacomplexitéduprojetauxcadressupérieurs.

• Aideàlaplanification:– Regroupetouslesdétailstechniques;– Identifiedesdépendancesetdenouveauxdebesoins.

• Flexibilité,productivitéetmaintenance:– Métadonnées,sélectiond’outils,etc.

Facteursàconsidérer• L’interdépendanceinformationnelleentrelesunitésde

l’entreprise– Ex:bonneintégration(ex:MDM)VSsilosdedonnées

• Lessourcesdedonnées– Ex:1sourceVS10sources,ERPVSlegacy,etc.

• Laquantitédesdonnées– Ex:gigaoctets VSteraoctets

• Lalatencedesdonnées– Ex:mise-à-jourhebdomadaireVStemps-réel

• L’urgenced’obtenirunesolutionfonctionnelle– Ex:entrepôtd'entreprise(EDW)VSmagasindedonnées

Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 6

Facteursàconsidérer• Lenombred'utilisateurs

– Ex:10-50utilisateursvs50-200utilisateurs

• Lanaturedestâchesdesutilisateursfinaux– Ex:rapportssimplesVSfouillededonnées

• Lescontraintessurlesressources– Ex:financières,maind'œuvre,biaistechnologique,etc.

• Lesobjectifsduprojet– Ex:stratégiqueVSopérationnel

• Autresfacteurs– Ex:politiques,habilitésdupersonnelTI,etc.

Questions• Quelleestladifférenceentreunmagasindedonnéesetun

entrepôtdedonnées?

Lesmagasins dedonnées(datamart)

• Caractéristiques:– Contientuneportion ducontenudel’entrepôtdedonnées;

– Seconcentresur1sujetd’analyse• Ex:lesventesOUleslivraisons,maispaslesdeux;

– Sertàfairedesanalysessimplesetspécialisées• Ex:lesfluctuationsdesventesparcatégoriedeproduits;

– Nombredesourceslimitées,provenantlaplupartdutempsd’unmêmedépartement;

– ProcessusETLrelativementsimple– Mêmeprocessusdeconceptionquelesentrepôtsdedonnées,maisdemandemoinsderessources.

Magasins dedonnéesvsEDWCaractéristique Magasin dedonnées Entrepôtdedonnées(EDW)

Portée Undomained’analyse Plusieursdomainesd’analyse

Tempsdedéveloppement Mois Années

Coûtsdedéveloppement $10,000à$100,000 + $1,000,000+

Complexité dedéveloppement Faibleàmoyenne Grande

Tailledesdonnées MbàplusieursGb Gbjusqu’àplusieursPb

Horizondesdonnées Courantesethistoriques La plupartdutempshistoriques

Transformation desdonnées Faibleàmoyenne Importante

Fréquencedesmises-à-jour Horaire, journalier ouhebdomadaire

Peut aller jusqu’àmensuel

Nombre d’utilisateurssimultanés Dizaines Centainesàmilliers

Typesd’utilisateur Analystesdansledomainespécifique etgestionnaires

Analysted’entreprise etcadresseniors

Objectifs d’affaires Optimisationdesactivités dansledomainespécifique

Optimisation inter-fonctionnelle etsupportàladécision

Source:E.Turban,R.Sharda,D.Delen etD.King(2010).« Businessintelligence: Amanegerial approach »,Pearson.

Questions

• Quellessontlesdifférentesarchitecturesd’entrepôtsdedonnées?

• Quellessontlescritèrespermettantdecomparerdifférentesarchitectures?

Lesarchitecturesd’entrepôtsdedonnées

1. Magasinsdedonnéesindépendants

2. Architectureenbusdemagasinsdedonnées

3. ArchitectureHub-and-spoke

4. Entrepôtdedonnéescentralisé

5. Architecturefédérée

Magasins dedonnéesindépendants

StagingAreaSource1 Datamart 1

Systèmessource

Source2

Source3

Datamart 2

Datamart 3

silosdedonnées

Datamartsindépendants Utilisateurs

StagingArea

Reporting

Magasins dedonnéesindépendants

• Caractéristiques:– Lesdatamarts sontdéveloppésetopèrentdemanièreindépendante;

– Lesdonnéessontdisposéesen« silosfonctionnels»;– Pasdedimensionsconformes.

• Avantages/inconvénients:(+) Architecturelaplussimpleetlamoinscoûteuseàdévelopper;(−) Incohérencesetredondancesentrelesdatamarts(−) Iln’yapasuneseule versiondelavérité;(−) Analyseinter-fonctionnelledifficileouimpossible;(−) Visionlimitée,pasextensible.

Busdemagasinsdedonnées

StagingArea

Source1 Datamart 1

Systèmessource

Source2

Source3

Datamart 2

Datamart 3

Datamarts liéspardimensionsconformes Utilisateurs

Infrastructure

porting

Reporting

Entrepôtdedonnéesconceptuel

Busdemagasinsdedonnées• Caractéristiques:

– Approchebottom-up,proposéeparR.Kimball;– Datamartsdéveloppésparsujet/processusd’affaires,ensebasant

surdesdimensionsconformes;– Modélisationdimensionnelle(schémaenétoile),aulieudumodèle

entité-relation(ex:3FN);– Entrepôtdedonnéesconceptuel,formédemagasinsdedonnées

inter-reliésàl’aided’unecouched’intergiciels (middleware).

• Avantages/inconvénients:(+) Intégrationdesdonnéesassuréeparlesdimensionsconformes;(+) Approcheincrémentale(processuslesplusimportantsd’abord);(+) Donnedesrésultatsrapidement;(−) Itérationsfuturesplusdifficilesàplanifier;(−) Performancesous-optimaledesanalysesimpliquantplusieurs

datamarts.Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 16

ArchitectureHub-and-spoke(Corporate InformationFactory)

StagingArea

Source1 Datamart 1

Systèmessource

Source2

Source3

Datamart 2

Datamart 3

Entrepôtdedonnéesd’entreprise

Utilisateurs

Infrastructure

porting

Reporting

Datamartsdépendants

Concentrateur(hub)

Rayons(spokes)

ArchitectureHub-and-spoke• Caractéristiques:

– Approchetop-down,proposéeparB.Inmon etal.– Entrepôt(hub)contientlesdonnéesatomiques(c.-à-d.leniveaude

détailleplusfin)etnormalisées (3FN);– Lesdatamarts (spokes)reçoiventlesdonnéesdel’entrepôt;– Lesdonnéesdesdatamarts suiventlemodèledimensionneletsont

principalementrésumées(pasatomique);– Laplupartdesrequêtesanalytiquessontfaitessurlesdatamarts.

• Avantages/inconvénients:(+) Intégrationetconsolidationcomplèteetdesdonnéesde

l’entreprise;(+) Approcheitérativeetpotentiellementextensible(spokes);(−) Peutavoirdelaredondancededonnéesentrelesdatamarts;(−) Performancesous-optimaledesanalysesimpliquantplusieurs

datamarts.Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 18

Entrepôtdedonnéescentralisé

StagingArea

Source1

Systèmessource

Source2

Source3

Entrepôtdedonnéesd’entreprise

Utilisateurs

Infrastructure

porting

Reporting

Entrepôtdedonnéescentralisé• Caractéristiques:

– SimilaireàHub-and-spoke,maissanslesdatamarts dépendants;– Gigantesqueentrepôtdedonnéesservantl’entrepriseentière;– Lesdonnéespeuventêtreatomiquesourésumées.

• Avantages/inconvénients:(+) Lesutilisateursontaccèsàtouteslesdonnéesdel’entreprise;(+) Intégration(ETL)etmaintenancefacilecarlesdonnéessontà

unseulendroit;(+) Performanceoptimale(ex:Appliancewarehouse,Teradata).(−)Longetcoûteuxàdévelopper;(−)Pasincrémental;(−) Extensibilitélimitéeoutrèscoûteuse.

Architecturefédérée

StagingArea

Source1

Systèmessource

Source2

Source3

Entrepôtsdedonnéesautonomes Utilisateurs

Infrastructure

porting

Reporting

Entrepôtdedonnées

virtuel

Metadonnées

Intégrationvirtuelle

Architecturefédérée• Caractéristiques:

– Entrepôtdedonnéesdistribuésurplusieurssystèmeshétérogènes;– Opèredemanièretransparente(l’utilisateurnevoitpasqueles

donnéessontréparties);– Donnéesintégréeslogiquementouphysiquementàl’aidedeméta-

données (ex:XML);– Complémenteplutôtqueremplace(selonlesexperts).

• Avantages/inconvénients:(+) Utilelorsqu’ilyadéjàunentrepôtenplace(ex:acquisitionsou

fusionsdecompagnies);(+) Demandepeuderessourcesmatériellesadditionnelles.(−) Trèscomplexe:synchronisation,parallélisme,concurrence,etc.(−) Peudecontrôlesurlessourcesetlaqualitédesdonnées;(−) Faibleperformance(maislatechnologies’améliore).

Comparaisonentrelesarchitectures• Popularité:

Architecture Fréquence

Hub-and-spoke 39%

Busdedatamarts 26%

Entrepôt centralisé 17%

Datamarts indépendants 12%

Entrepôts fédérés 4%

Source:T.AriyachandraetH.Watson(2005).« Keyfactors inselecting adatawarehouse architecture »,BusinessIntelligenceJournal,vol.10,no.2.

Comparaisonentrelesarchitectures• Critères:

– Qualitédel’information(précise,complète,cohérente);– Qualitédusystème(flexible,extensible,intégration);– Impactsurlesindividus(productivité,décisions,etc.);– Impactsurl’entreprise(satisfactiondesrequis,ROI,etc.).

• Résultats:

Source:T.AriyachandraetH.Watson(2005).« Keyfactors inselecting adatawarehouse architecture »,BusinessIntelligenceJournal,vol.10,no.2.

Architecture Qualitédel’information

Qualitédusystème

Impactsurlesindividus

Impactsurl’entreprise

Hub-and-spoke 5.35 5.56 5.62 5.24

Busdedatamarts 5.16 5.60 5.80 5.34

Entrepôtcentralisé 5.23 5.41 5.64 5.30

Datamarts indépendants 4.42 4.59 5.08 4.66

Entrepôts fédérés 4.73 4.69 5.15 4.77

Lemodèle DataVault• ProposéparDanLinstedt àlafindesannées90• Objectifs:

– Permettrederetracerfacilementl’informationauxsourcesdedonnées(ex:auditdedonnées);

– Êtrerobusteauxchangementsdumodèled’affaires(ex:relation1-N devenantN-N);

– Réduirelescontraintesreliéesauxrèglesd’affairesendifférantcelles-ci(ex:datamarts enaval);

– Permettreunchargementefficacedesdonnées

• Principedebase:– Séparerl’informationstructurelle(Hub+Link)desattributsdescriptifs(Satellites).

Lemodèle DataVault• Hub:

– Représentelesconceptscentrauxdel’entreprise(ex:Client,Vendeur,Produit,etc.);

– Modéliseuniquementlacléd’affairesduconcept(aucunattributdescriptif).

Clé primaire artificielle

Clé d’affaires

Dernier chargement (timestamp)

Sourcedel’enregistrement

HubProduitID

CodeProduit

ChargementTS

EnregistrementSrc

Structuregénérale Exemple:HubProduit

Note:stabilité assuréeparlaclé d’affairesquichangerelativementpeu souvent

Lemodèle DataVault• Link:

– Représentelesrelationsnaturellesentrelesclésd’affaires(ex:lienentreClientetProduit=Vente);

– Necontientaucunattributdescriptif.

Clé primaire artificielle

Clé artificielle Hub1

Clé artificielle HubN

LinkTransactionID

HubClientID

HubProduitID

HubVendeurID

ChargementTS

EnregistrementSrc

Structuregénérale Exemple:LinkTransaction

Note:utilisé mêmepourlesrelations1-Net1-1

Lemodèle DataVault• Satellite:

– Contientl’informationdescriptivereliéeàunecléd’affaires(HubouLink);

– L’informationd’unmêmeHubouLinkpeutêtreséparéeenplusieursSatellites(selonlasource,fréquencedemiseàjour,etc.)

Clé primaire artificielle Hub

Attribut 1

Attribut N

Structuregénérale Ex:SatelliteClient1

HubClientID

ChargementTS

Prénom

Adresse

EnregistrementSrc

SatelliteClient2

HubClientID

ChargementTS

DateNaissance

DatePremierAchat

EnregistrementSrc

13 DATA VAULT MODELING GUIDE | 5/15/2012

ple Data Vault M

Fig. 15 Full D

ata Vault M

Source:HansHultgren. IntroductoryGuidetoDataVaultModeling,2012.

Lemodèle DataVault• Chargementdesdonnées:– PuisquelesHubssontdécouplés(aucunecléétrangèred’unHubàunautre),onpeutleschargerenparallèle;

– MêmechosepourlesLinksetSatellites.

• Lienaveclamodélisationdimensionnelle:– LesHubsetleurSatellitescorrespondentauxtablededimension;

– LesLinksetleurSatellitescorrespondentauxtablesdefaits;– Ilfautappliquerlesrèglesd’affaireslorsqu’onchargelesdatamart (schémaenétoile)àpartirduDataVault.

Questions• Lesmagasins/entrepôtsdedonnéess’emploient-ilsdansun

contexteopérationnel(pasanalytique)?

Comptoirsdedonnéesopérationnelles(Operational datastore– ODS)

• Caractéristiques:– Intègrentetconsolidentdesdonnéesdesourceshétérogènesdanslebutdefacilitercertainesopérationsdel’entreprise;

– Peuventservirdesourceàdessystèmesopérationnelsouunentrepôtdedonnées;

– Contiennentrarementdesdonnéeshistoriques;

– Mettentàjourlesdonnéesaulieudelesajouter;

– Effectuentleschangementspresqueinstantanémentaulieudelesfaireenlot;

– Neremplacentpaslesentrepôtsdedonnées.

Comptoirsdedonnéesopérationnelles(Operational datastore– ODS)

• Utilisations:– Validerdesrèglesd’affairescomplexesimpliquantdesdonnéesdeplusieurssources;

– Analyserdesdonnéesconsolidéesen(quasi)temps-réel;

– SimplifierleprocessusETLd’unentrepôtdedonnées

• Exemplesd’applications:– Bancaire:validerentemps-réellasolvabilitéd’unclientappliquantpourunprêt,lorsquelescomptes,placements,etdossiersderisquedesclientssontgéréspardesapplicationsdifférentes;

– Télécom:suggérerunnouveauforfaitàunclientensebasantsursesstatistiquesrécentesd’utilisation.

Questions• Quefairelorsquel’entreprisen’apaslesmoyensd’acquérir

et/oumaintenirl’infrastructurenécessaireàl’entrepôtdedonnées?

• Quefairelorsquel’entreprisen’apasl’expertisepourinstalleretconfigurerlesressourcesmatérielles/logiciellesnécessairesàl’entrepôtdedonnées?

Entrepôtsdedonnéeshébergés(cloud)• Caractéristiques:– L’infrastructurematérielleetinformatiquerésidesurlesited’unfournisseur;

– L’entrepriselouel’infrastructure.– Deuxtypes:plate-formeentantqueservice(PaaS)oulogicielentantqueservice (SaaS)

• Avantages/inconvénients:(+) Minimisentl’investissementdansl’infrastructure;(+) Libèrentlesressourcesmatériellesethumainesde

l’entreprise;(+) Évitentlestâchesdemise-à-jouretdemaintenance;(−)Moinsrentableàlongterme;(−) Sécuritéetdomaineprivédesdonnées.

Entrepôtsdedonnéeshébergés(cloud)

Source:WayneEckerson,« CloudBIAdoption:Gauging Market Demand »,BeyeNetwork, 2011

Entrepôtsdedonnéeshébergés(cloud)

Source:TATAConsultancy Services, BusinessIntelligence ontheCloud:Overview andUseCases, 2012

Solutionscléenmain• DataWarehouse Appliance (DWA):

– Ensembleintégrédeserveurs,dispositifsdestockage,DBMS,systèmesd’exploitationetdelogicielspré-installésetpré-optimiséspourl’entreposagededonnées;

– Utilisentunearchitecturedetraitementmassivementparallèle;

– Solutionallantduterabyte aupetabyte.

• Avantages/inconvénients:(+) Faiblescoûtsdemise-en-placeetdemaintenance;(+) Bonnesperformanceetextensibilitédueàl’architecture

parallèle;(+) Permetd’obtenirrapidementdesbénéfices;(−) Achattrèsdispendieux($100K- $1M).

Solutionscléenmain

Source:www.teradata.com, 2014

Architecturesorientéesservice• Serviceoriented architectures (SOA):

– Méthoded’intégrationdesystèmesoffrantdesfonctionnalitéssouslaformedeservicesinteropérables;

– Permetlacommunicationentredessystèmesquin’ontpasétéconçusdanscetteoptique,etleurparticipationconjointedansdesprocessusd’affaires.

• Danslecontextedesentrepôtsdedonnées:– Facilitelacommunicationentrelessourcesetlesapplications– Utilisédansl’architectureEntrepriseApplicationIntegration(EAI)pourl’intégrationdesdonnées

– Réduitlesdépendancestechniquespermettantuneapproche« best-of-breed ».

Questions• Quellessontlesprincipalescomposantesd’unentrepôtde

données?

• Commentfait-onpourrendrecescomposantesleplusmodulairepossible?

Métadonnées• Définition:– Informationdéfinissantetdécrivantlesstructures,opérationsetlecontenudusystèmedeBI;

– Troistypes:technique,d’affairesetdeprocessus.

• Métadonnéestechniques:– ETL:sourcesetciblespourlestransfertsdedonnées,transformations,règlesd’affaires,etc.

– Stockage:tables,champs,types,indexes,partitions,dimensions,etc.

– Présentation:modèlededonnées,rapports,cédules,privilègesd’accès,etc.

Métadonnées• Métadonnéesd’affaires:– Décritlecontenudel’entrepôtentermescompréhensiblesparlesutilisateursd’affaires;

– Ex:descripteursdetablesetchamps.

• Métadonnéesdeprocessus:– DécritlerésultatdediversesopérationsdusystèmedeBI;– Ex:logsETL(début,fin,écrituresdisque,…),statistiquessurlesrequêtes,etc.

Métadonnées• Bénéfices:– Découpleladépendanceentrelatechnologieetsonutilisation(ex:reconfigurerdynamiquementlesystèmeETLpourmodifierouajouterunesource)

– Permetdemonitorer l'étatetlaperformancedelasolutionBI

– Sertdedocumentationausystème– Permetdedéterminerl'impactd'unchangement

• Idéal:– AvoirunseulrépertoiredemétadonnéespartagépartouteslescomposantesdelasolutionBI

Couchedepréparationdedonnées(back-room)

Systèmessources

MétadonnéesETLMétadonnéesprocessus:• StatistiquesETL• Résultatsd’audits• Résultatsdefiltrages

Métadonnéestechniques:• Inventairesystèmeetversion• Descriptionsdessources• Schémas relationnels,scriptsLDD• LogiquedestâchesETL• Paramètressauvegarde,sécurité

Métadonnéesd’affaires:• Dictionnairededonnées• Cartelogiquedesdonnées• Logiquedesrèglesd’affaires

Extraction• Profilagededonnées• Capturedes

changements• Extraction

Consolidation• Correctiond’erreurs• Déduplicationdes

données• Conformationdes

dimensions

Livraison• Clésartificielles• SCD• Hiérarchies• Tablesdedimension• Tablesdefaits

ServicesdegestionETL• Lignageetdépendances• Parallélisation• Sécuritéetconformité• Gestiondesdimensions

• Programmationetmonitoringdestâches• Sauvegardeetrestauration• Contrôledeversion/migration• Qualitédesdonnées

ComptoirdedonnéesETL• Historiquedeprocessus• Donnéespréparées• Copiesderéférencedesdimensions• Répertoiredemétadonnées

• Tablesdeconsultation/décodage• Copiesderéférencedeshiérarchies• Donnéesd’audit

• Opérationnels,ODS• ERP,CRM• MDM• Externes

• RDMBS• Fichiersplats,XML• Queuesdemessages• Fichierslog&redo• Formatspropriétaires

SystèmeETL

• Besoinsgénéraux:– Supportàlaproductivité(ex:environnementdedéveloppement)– Convivialité(ex:interfacegraphiquesimple)– Flexibilité(ex:métadonnées)

• FonctionnalitésETL:– Extraction:

• Ex:profilagedesdonnées,capturedeschangements,copiedesdonnées

– Consolidation:• Ex:règlesdetransformation,résolutiond'incohérences,intégration

– Livraison:• Ex:insertiondanslestablesdefaits/dimensions,gestiondeschangements(SCD)

• ServicesdegestionETL:– Planificationdetâches(jobscheduler)– Sauvegarde/restauration– Sécurité– etc.

• ComptoirdedonnéesETL (datastore):– Donnéestemporairesd'extraction(staging area)– HistoriqueduprocessusETL(métadonnéesprocessus,QA)– SauvegardedesréférencesETL(métadonnéestechniques)– etc.

Couchedestockagededonnées(presentation)

SystèmeETL

MétadonnéesprésentationMétadonnéesprocessus:• MonitoringdelaBD• Statistiquesd’utilisation

d’agrégats/OLAP

Métadonnéestechniques:• TablessystèmedelaBD• Paramètresdespartitions• Procéduresstockées/scripts

Métadonnéesd’affaires:• Descripteursdetables/champs• Définitionsd’agrégats/OLAP

Architecturedebusd’entreprise(Kimball):

• RDBMSpourleniveaudedétailatomique• Dimensions dénormalisées avecclésartificielles• Dimensions changeantes(SCD)type1,2ou3• Dimensions hiérarchiques• Dimensions etfaitsconformes• Agrégations/OLAP, indexes d’étoile etbitmap• …

Serveurdeprésentation

−Extraction−Consolidation−Livraison

Services degestionETL

Magasinsdedonnées ETL

Back-room Front-room

• Objectif:– Fournirunaccèssimplifiéetrapideauxdonnées,pourlesutilisateurs(ex:requêtesadhoc)etapplicationsdeBI.

• Caractéristiquessouhaitées:– Donnéesprovenantdesprincipauxprocessusd'affaires– DonnéesatomiquesETagrégées– Sourceunique dedonnéesàtouslesutilisateurs(peuimportel'emplacementphysiquedesdonnées)

– Analysesvariéesaveclesmêmesdonnées

• Considérations:– Tablesdedimensionsdénormalisées (schémaenétoile)– Clésartificielles– Dimensionsàévolutionlente(SCD1,2,3)– Dimensionsconformesbaséessurlamatriceenbusdedonnées– Donnéesatomiquesauniveaudestransactions– Stratégiesd'agrégation(ex:OLAP,ROLAP,etc.)– Stratégiesdeperformance(ex:index,partitionnement,etc.)– etc.

Couchederestitutiondedonnées(front-room)

Serveurdeprésentation

MétadonnéesderestitutionMétadonnéesprocessus:• Statistiquesd’exécutionde

rapports,requêtes,etc.• Statistiquesd’utilisation

delasécurité réseau

Métadonnéestechniques:• Couchesémantique BI• Définitiondesrapports/

requêtesstandards• Logiqueapplicative• ParamètresduportailBI

Métadonnéesd’affaires:• Listedesattributsconformes• PolitiquedesSCD• Politiquesdegestiondes

valeursnulles/erreurs• Documentationutilisateur

ServicesdegestionBI• Reporting d’entreprise• Reformulationderequêtes• ServicesduportailWeb

• Monitoringd’utilisation• Applicationdelasécurité• Applicationdelaconformité• Gestiondesrequêtes

ComptoirsdedonnéesBI• Rapportsstockés• Cachesdesserveursd’application• BDusager,tableurs,documentsetprésentations• Donnéesd’authentificationetd’autorisation

ApplicationBITypesd’application

• BIopérationnel• InterfaceduportailBI• Applicationspersonnalisées• Interfacespourplateforme

mobile

• Requêtesàaccès direct• Rapportstandards• Applicationsanalytiques• Tableauxdebord/scorecards• Modèlesdeforagededonnées

• Modèlesdimensionnels

• Donnéesatomiquesdesprocessusd’affaires

• Dimensions/faitsconformes

Couchederestitutiondedonnées(front-room)• Objectifs:

– Supporterlesbesoinsanalytiquesdesutilisateurs• Ex:rapports,analyseOLAP,fouillededonnées,etc.

– Offrirdesinterfacesd'accèssimplifiéesauxdonnées• Ex:portailWeb,serviceSOA

– Offriruneperformanceadéquate

• ServicesdegestionBI:– Gestiondesrequêtes

• Reformulation/optimisation• Redirectionverslabonneressourceinformationnelle• Navigationd'agrégation• Gestiondepriorité

– Gestiondelasécurité/accès– Monitoringdel'utilisation/performance

Couchederestitutiondedonnées(front-room)

• ComptoirsdedonnéesBI:– Modèlesderapports– Cacheduserveurd'application(performance)– Magasindedonnéeslocaux(attentionauxsilosdedonnées)– etc.

Questions

• Quellessontlesprincipalesétapesdansledéveloppementdel’architecture?

• Comments’assure-t-onquel’architecturerépondbienauxbesoinsd’affairesinitiaux?

• Commentfait-t-onpourchoisirlesproduitslesmieuxadaptésauxbesoinstechniques?

Processusdedéveloppementd’architecture

• Questionsselonleniveaudedétail:

Niveaudedétail Back-room Front-room

Besoins d’affaires etauditdedonnées

• Comment obtenirlesdonnées nécessairesauxbesoins d’affaires?

• Commentmesurer,suivre, analyser etfaciliterlesopportunités d’affaires ?

Implicationsarchitecturellesetmodèles

• Quelles sont lesfonctions etcomposantesnécessaires pour obtenirlesdonnées danslaforme, l’endroit etlemoment désirés.

• Quels sontlesprincipales sources dedonnées etoùsont-elles situées ?

• Quelestlastratégiedemétadonnées ?

• Querequièrentlesutilisateurs pouravoirl’informationdans uneformeutilisable ?

• Quelle estlastratégiedeportailBI?

Modèles détailléesetspécifications

• Quelestlecontenu spécifique dechaquesourcededonnées ?

• Quelsont lescapacitésspécifiques dechaqueservice ?

• Àquoi ressemblent lesrapportsstandards?

• Comment ceux-ciseront-ils présentés?• Quelestledesign duportailBI?

Sélection deproduitetimplémentation

• Quels produits fournissent lescapacitésrequises ?

• Comment ceux-ciseront-ils assemblés ?

• Quels produits fournissent lescapacitésrequises ?

• Comment ceux-ciseront-ils assemblés ?

Documentd’implicationsarchitecturelles• Exemple:

Besoinsd’affaires Implicationarchitecturelle Sous-système Valeur/priorité

Améliorer letauxderéponse àl’aide d’unestratégiedeventecroisée

Outils d’intégrationpermettantdecoupler lesclientsaveclesproduits ETL Haute/8

Créationdelistesdeventecroiséeetmonitoring debaseàl’aided’outils BI

App.BI Moyenne /7

Traitementdesoffres etsuivi desréponses parle systèmeCRM AppBI N/A

Améliorer letauxderéponse àlacampagneparcourrielenfournissant auxanalystes desoutilspourgénérerleslistes declientsciblés

Application analytique App.BI Moyenne /7

Augmenterlaprécision desprédictions deventeàl’aided’unemeilleure historiquededonnées etdemeilleursmodèles analytiques

Application analytique avecprédiction deséries temporelles

App.BI/foragededonnées N/A

Extrairedel’information dessystèmesexternes pourlesuivi desventes ETL Haute/8

Documentdeplanarchitecturel• Contenu:

1. Descriptionsommaireduprojetetsesobjectifs;2. Méthodologie;3. Besoinsetimplicationsarchitecturelles;4. Survoldel’architecture• Ex:modèlehaut-niveau,métadonnées,couchesdeservice,

etc.5. Composantesarchitecturellesprincipales• Ex:ETL,applicationsBI,sourcesdedonnées,répertoirede

métadonnées,infrastructure,etc.6. Processusdedéveloppementdel’architecture• Ex:phases,preuvedeconcept,standardsetsélectionde

produits,etc.7. Modèlearchitecturel.

Modèlearchitecturel (exemple)

Projetcentrésurlesdonnéesd’unclubdepointsd’unechaîne de

supermarchés

Sélectiondesproduits• Guidéeparlesbesoinsd’affaires;• Étapes:

1. Comprendreleprocessusd’achatdel’entreprise;2. Faireuneétudedemarché:

• Sources: internet,coursetséminaires,publicationsdudomaine,consultantsexternes,etc.;

• Critères:fonctionnalité,performance,productivité,support(technique,documentation,formation),etc.

3. Évaluerlessolutionslesplusprometteuses• Ex:rencontresaveclesvendeurs,versiond’essai,comparaisonde

prototypes,etc.4. Rédigerunrapportderecommandationdeproduit;5. Testerleproduitretenudurantunepérioded’essai(ex:90jours);6. Négocierlecontrat(licences,support,formation,etc.).

Matriced’évaluationdeproduits

• Exemple:

Architecture des entrepôts de données

Documents

Présentation de l’Enseignant · Téléchargement de cours. ... Entrepôts de données Optimisation de la couche physique Fragmentation Horizontale Indexation Tuning

2-Typologie des entrepôts

Agrément des entrepôts d

LES ENTREPÔTS DE DONNÉES - Réseau Bases de Données

Entrepôts de données - LIMSI · 2019. 3. 8. · OLAP Analyse des données Exemple Structure de l’Entrepôt : table de faits ventes (codeProduit , date , vendeur , montant) tables

Entrepôts de données : introduction

Vers une approche de sécurisation des entrepôts de données en utilisant les réseaux Bayésiens

Programme des Sessions - download.microsoft.comdownload.microsoft.com/.../Programme-TechDays-2011... · Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL

Sécurité des entrepôts de données dans le Cloud Un SaaS pour le … · 2015-08-26 · 1.Introduction 2.Les problèmes de sécurité liés aux architectures des entrepôts de données

Chapitre Préliminaire Entrepôts de données

Sélection automatique d’index et de vues matérialisées dans les entrepôts de données

Chp2 - Les Entrepôts de Données

Revue de la littérature : entrepôts de données

Les entrepôts de données et l’analyse en ligne

Standard commercial : + 33 2 47 49 90 49| Email : info ... · Tableaux Excel, CRM, ERP, Entrepôts de données : vous disposez au uotidien d’une multitude de données : ... Principe

Introduction Aux Entrepôts de Données

MTI820 Entrepôts de données et intelligence d’affaires

MTI820 Entrepôts de données et intelligence d’affaires · La modélisation dimensionnelle • Définition: – Technique de conception logiquepermettant de structurer les données

entrepôts et magasins

Les données de la recherche et leurs entrepôts, de la