View
227
Download
0
Category
Preview:
Citation preview
MTI820 −Entrepôtsdedonnéesetintelligenced’affaires
Introduction àl’intelligenced’affairesetauxentrepôtsdedonnées
C.Desrosiers
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 1
Questions• Quelles sontvos expériences avecl’intelligence
d’affaires?
• Quelle est selon vous ladéfinition dece concept?
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 2
Avantdecommencer…1. Quelestlelienentrelescouchesetlabière?
2. PourquoilesservicesdeGoogle(Gmail,Calendar,Groups)sont-ilsgratuits?
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 3
Lelienentrelescouchesetlabière• Observations:
– Lesventesdebièressontparticulièrement importanteslesvendredisendébutdesoirée;
– Lesclientsquiachètentdelabièredurantcettepériodeonttendanceàacheterégalementdes… couches !
• Marketing:– Enplaçantcesdeuxproduitsprèsl’undel’autre,lesépiceriesaugmentent leursventesetleursprofits(stratégiedeventecroisée).
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 4
LeprincipeGoogle:• Touteinformationaunprix;• Google utilisesesservicespouracquérirgratuitementde
l’informationsursesusagers:– Analysedutextedescourriels(Gmail);– Profiletlistedescontacts(Google Groups);– Emploidutemps(GoogleCalendar);– etc.
• Cetteinformationestutiliséepourenvoyerdelapublicitécibléeauxusagers.
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 5
Exploitationdel’information
« Lesentreprisesquigèrentleursdonnéescommeuneressource stratégiqueetinvestissentdanslaqualité decelles-cisontenavancesurleurscompétiteurs,auniveaudelaréputationetdeprofitabilité »
−SondagePricewaterhouseCoopersGlobalDataManagement (2001)
• Métro/Loblaws /SuperC:– Entreprisesquivendent delanourritureOU;– Entreprisesquiexploitentdesconnaissancessur:
• Lespréférencesdesclients;• Lesbiaisgéographiques;• Lachaînelogistique;• Lecycledeviedesproduits;• Lesinformationssurlesventesdescompétiteurs.
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 6
Question• Enquoil’information diffère-t-elle desressources
matérielles ethumaines?
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 7
Caractéristiquesdel’information• Temporelle:
– Lavaleurdiminueavecletemps;– Ex:actionsenbourse,achatsdesclients,etc.
• Partageable:– Peutêtrecopiéeetdistribuéefacilement;– Ex:réseauxsociaux,leWeb, lesmédias,etc.
• Valeuraugmenteavecl’usage:– Nesedégradepascommed’autresressources(ex:unevoiture);
– Ex:algorithmePageRank deGoogle.
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 8
Caractéristiquesdel’information• Valeuraugmenteaveclaqualité:
– Uneinformationerronéeouimprécisepeutnuire;– Ex:opérationsmilitaires.
• Valeuraugmenteaveclafusion:– Uneinformationpeutavoirdelavaleurquesielleestcombinée
avecd’autresinformations;– Ex:ventes+inventaire=planification.
• Valeurmesurable:– Historique:combienacoutél’acquisitiondecetteinformation?– Marché:combienunepersonneserait-elleprêteàpayerpour
obtenircetteinformation;– Utilité:quelle valeurpeut-onespérerobtenirdecette
information?
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 9
Question• Est-cequestockerbeaucoupdedonnéesestsuffisant
pouraiderlaprisededécisiond’uneentreprise?
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 10
Donnéesvsinformationsvsconnaissances
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 11
• Données:– Collectiond’élémentsdevaleurbruteoudefaitsservantà
calculer,raisonneretmesurer;– Peuventêtrecollectées,stockéesoutraitées;– Nepossèdentpasdecontextenidesens.
• Informations:– Proviennentdel’organisationdesdonnées,mettantenvaleur
lesrelationsentrelesdifférentsélémentsdecesdonnées;– Fournissentuncontexteetunsensauxdonnées.
• Connaissances:– Viennentdelacompréhensiondel’informationdansson
contexte;– Sontutilesauprocessusdedécision.
Question
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 12
• Exemplesdedonnées, informationsetconnaissancesdansledomainedelavente(ex:Amazon)?
Dedonnéesàstratégies
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 13
• Pyramided’abstraction:
Connaissancesetintelligence
Informations
Données
Tailledesdonnées
Niveaud’abstractio
n
Intelligenced’affaires:Ensembledeprocessus,detechnologiesetd’outils servantàtransformer:• Lesdonnéeseninformations;• Lesinformationsenconnaissances;• Lesconnaissancesenstratégies
menantàdesactionsprofitablesàl’entreprise.
Questions• Commentlemarchéd’aujourd’huidiffère-t-il d’il ya10,
20ou 30ans?• Pourquoi avons-nousbesoin del’intelligenced’affaires?
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 14
Questions• Commentlemarchéd’aujourd’huidiffère-t-il d’il ya10,
20ou 30ans?• Pourquoi avons-nousbesoin del’intelligenced’affaires?
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 15
• Tauxd’échecdeprojets:
• Causesfréquentesd’échecs:– Considérer troppeudescénarios/scénariospeuréalistes;– Êtreincapabled’anticiperlesactionsd’uncompétiteur;– Ignorerleschangementséconomiquesousociaux;– Prévoirincorrectementlademande.
Échecsdanslesprojets
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 16
Catégorie Tauxapprox.
Film(Hollywood) 60%
Acquisition/fusion 60%
TI 70%
Produitalimentaire 80%
Produit pharmaceutique 90%Source:Slywotzky etWeber(2007). TheUpside:The7StrategiesforTurningBigThreatsintoGrowthBreakthroughs
L’environnementd’affaires• L’environnement d’affairesestenconstanteévolution et
devientdeplusenpluscomplexe;
• Lesentreprisessontsouspression:ellesdoiventrépondrerapidement auxchangementsetinnoverdansleursmanièresd’opérer;
• Laprisededécisionsstratégiquesetopérationnellescomplexesrequiertunequantitéconsidérablededonnées etdeconnaissances;
• Lesdonnéesnécessairesàlaprisededécisionproviennentdesourcesdiversesethétérogènes;
• L’informationdecesdonnéesdoitêtretraitéetrèsrapidement.
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 17
Intelligenced’affaires• Businessintelligence (BI):
– Unensembledeconcepts,deméthodologiesetd’applicationspourrassembler,stocker,analyser,etpermettred’accéderdesdonnées, danslebutd’aiderlesutilisateursd’entreprisesdansleurprocessusdedécision.
• Inclut:– L’entreposage dedonnées;– Lesrequêtesetlereporting;– L’analysemultidimensionnelle (OLAP);– L’analysestatistique;– Laprédiction(forecasting);– Leforagededonnées(datamining).
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 18
Pourquoil’intelligenced’affaires?• Profitabilitéaccruedel’entreprise;• Diminutiondescoûts;• Meilleuregestiondesrelationsavecleclient(CRM);• Diminutiondesrisques;• etc.
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 19
Question• Qu’est-cequ’un entreprôtdedonnées etenquoicette
technologie diffère-t-elle desbasesdedonnéestransactionnelles?
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 20
OLTPvsOLAP• OnLine TransactionProcessing (OLTP):
– Traitement rapided’ungrandnombredecourtestransactionsfaitesen-ligne (ex:INSERT,UPDATE,DELETE)
– Intégritédesdonnéesdansunenvironnementconcurrentiel(c.-à-d.plusieursrequêtessimultanées).
• OnLineAnalytical Processing (OLAP):– Traitement rapidederequêtescomplexes(multiplestables,agrégationdedonnées,etc.)
– Objectif:assisterdanslaprisededécision.
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 21
Question• SystèmeOLTPouOLAP?:
a) Sertàcontrôleretexécuterlestâchesquotidiennes etfondamentales del’entreprise;
b) Renfermedesdonnéeshistoriquesconsolidées;c) Donneunportrait instantanédesprocessusd’affairesde
l’entreprise;d) Faitdesrequêtescomplexesimpliquantsouventplusieurs
tablesetfaisantl’agrégationdevaleurs;e) Donnéesmodéliséesàl’aided’ungrandnombrede
tableshautementnormalisées.
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 22
OLTPvsOLAPCritère OLTP OLAPBut Contrôleretexécuterlestâches
quotidiennesetfondamentalesdel’entreprise
Assisterdanslaplanification,larésolutiondeproblèmeetlaprisededécision
Typesdedonnées Donnéesopérationnelles(transactions)
Donnéeshistoriques consolidées
Sourcesdedonnées BD transactionnelles Entrepôtsdedonnéesoumagasinsdedonnées
Cequemontrelesdonnées
Portraitinstantanédesprocessusd’affairesdel’entreprise
Vuemultidimensionnelledeplusieursactivités d’affairesdel’entreprise
Insertionsetmises-à-jour Courtesrequêtes d’insertionetdemise-à-jourlancéesparlesusagersfinaux
Longs traitementsenlotservantàrafraichirlesdonnées
Requêtes Simplesrequêtesretournantquelques enregistrements(lignes)delaBD
Requêtescomplexes impliquantsouventplusieurstablesetfaisantl’agrégationdevaleurs
Tempsderéponses Instantané Quelquessecondesà1minutemax.
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 23
OLTPvsOLAPCritère OLTP OLAPEspace requis Relativementpetitsiles
donnéeshistoriquessontarchivées
Granddueauxdonnéeshistoriquesetauxdonnéesd’agrégation
ModélisationdelaBD Ungrandnombredetableshautementnormalisées
Moinsdetables,tablestypiquementdénormalisées,schémasen étoileouflocon
Sauvegardeetrécupération Faitde façonrégulière, critiquepourl’entreprise
Fait defaçonirrégulière,peutrécupérerdesdonnéesOLTP
Reporting Routinierettrèsciblé Adhoc,multidimensionnel, àpluslargeportée
Ressources requises SimpleDBMSrelationnel DBMSspécialisémulti-processeurs etàgrandecapacité
Nombre d’utilisateurssimultanés
Grand Petit
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 24
Quelquesdéfinitions• Entreposagededonnées(datawarehousing):
– « Lacopiepériodique etcoordonnée dedonnéesprovenantdediversessources, internesetexternesàl’entreprise,dansunenvironnement optimisépourl’analyse »
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 25
Quelquesdéfinitions• Lesentrepôtsdedonnées(datawarehouse):
– Centralisent lesdonnéesdel’entreprise;– Sontcontenusdansunenvironnement biengéré;– Possèdent unprocessuscohérentetrépétablepourchargerlesdonnéesprovenantdesapplicationsdel’entreprise;
– Reposentsurunearchitectureouverteetextensiblepouvantaccommoderlacroissancedesdonnées;
– Fournissentdesoutilspermettant auxusagersdetransformer lesdonnéeseninformationutileàlaprisededécision.
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 26
Historiquedesentrepôtsdedonnées
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 27
Naissancedelarechercheenmarketing.
Mesuresdelaperformanced’uneentrepriseetdel’impactd’unestratégiedemarketing.
1910 1920 1970… 1980 1990
Productionderapportsautomatiséssurmicro-ordinateurs(pasd’intégration).
DispersiondesdonnéescauséeparlesPC;PremièresolutionTeradata (RDBMS).
ArthurNielsen
CharlesCoolidgeParlin
RalphKimball
Naissancedel’entreposagededonnées;
BillInmon
2000
Oracle,IBM,Microsoft,SAP,etc.
2010
GIS,réseauxsociaux,Websémantique,etc.
Caractéristiquesdesentrepôtsdedonnées• Orientéssujet:
– Lesdonnéessontorganiséesparsujet(ex:clients,produits,ventes,etc.).
• Intégrés:– Lesdonnées,quiproviennentdediversessourceshétérogènes,
sontconsolidéesetintégréesdansl’entrepôt.
• Historiques:– Lesdonnéesonttrèssouventunecomposantetemporelle (ex:
dateetheured’unetransaction).
• Non-volatiles:– Unefoisinséréesdansl’entrepôt,lesdonnéesnesontjamais
modifiéesoueffacées;ellesontconservéespourdesanalysesfutures.
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 28
Question• Quels sont lesavantages d’utiliser lesentrepôts de
données?
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 29
Bénéficesdesentrepôtsdedonnées• Bénéficesdirects:
– Permettent demenerdesanalysespousséessurdifférentssujetsd’affaires;
– Fournissentunevueconsolidéedesdonnéesdel’entreprise(uneseulevérité);
– Procurentdel’informationdequalité,plusrapidement;– Libèrentlesressources(ex:serveurs)dédiéesautraitement destransactionsdestâchesd’analyse;
– Simplifientl’accèsauxdonnées.
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 30
Bénéficesdesentrepôtsdedonnées• Bénéficesindirects:
– Augmentent lesavoirdel’entreprise;– Procurentunavantageconcurrentielàl’entreprise;– Améliorent lasatisfactiondesclients;– Permettent demieuxgérerlesressources;– etc.
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 31
Bénéficesdesentrepôtsdedonnées• Autresbénéfices:
– Meilleurecommunication/coopérationentrelesdifférentsintervenants/branches d’uneentreprise:• RapprochentlesintervenantsdudomainedesTIetceuxdudomainedesaffairesenleurdonnantunobjectifcommun;
• Permettentd’intégreretdeconsoliderlesdonnéesdesdifférentesbranches;
• Fournituneplateformeetdesoutilsd’analysecommuns.
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 32
Architectured’unentrepôtdedonnées
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 33
Sélection
Sourcesdedonnées
ERP/CRM
Legacy
POS
OLT/Web
Externes
ProcessusETL
Extraction
Transformation
Intégration
Chargement
Entrepôt dedonnées
Méta-données
Copie
Applications(visualisations)
Rapportsderoutine
Foragededonnées/textes
OLAP,tableauxdebord
Autres
Accès
Datamart(marketing)
Datamart(finances)
Datamart(clients)
Datamart(ventes)
API/In
tergiciels
Optionsansdatamart
Sourcesdedonnées• Enterpriseresource planning (ERP):
– Gèrentlesprocessusopérationnelsd'uneentreprise (ex:ressourceshumaines,finances,distribution,approvisionnement, etc.).
• Customerrelationship management (CRM):– Gèrentlesinteractionsd’uneentrepriseavecsesclients(ex:
marketing,ventes,après-vente,assistance technique,etc.).
• Systèmeslegacy:– Matérielsetlogicielsobsolètesmaisdifficilementremplaçables.
• Pointofsale(POS):– Matérielsetlogicielsutilisésdanslescaissesdesortiesd’unmagasin.
• Externes:– Ex:donnéesconcurrentiellesachetées,donnéesdémographiques.
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 34
Questions• À quoicorrespondleprocessus ETL?• Pourquoi ce processus est-il essentiel à l’entreposagede
données?
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 35
Intégrationdesdonnées• ProcessusExtract, Tranform, Load (ETL):
1. Extrairelesdonnéesdessourceshétérogènes:• Identifierlessourcesutiles;• Comprendre lesschémas.
2. Consoliderlesdonnées:• Donnéesredondantes/manquantes;• Différentsnoms/types;
3. Chargerlesdonnées intégréesdansl’entrepôt:• Modedifféré(batch);• Quasitemps-réel.
• Représentelapartielapluscomplexedel’entreposage.
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 36
Lesoutilsd’analysededonnées• Rapportsetrequêtessimples
– « Dismoicequis’estpassé ».
• AnalyseOLAP– « Dismoicequis’estpasséet pourquoi ».
• Tableauxdebordetscorecards– « Donnemoil’informationmaisnemefaitpastravaillerpourobtenirlesréponses ».
• Foragededonnées– « Dismoiquelquechosedenouveauetd’intéressantsansquej’ailleàledemander ».
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 37
Exempledetableaudebord(MSPowerpivot)
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 38
Casd’étude:PolicedeRichmond• Objectif:
– Réduirelecrimeenanticipantlesactivitéscriminelles.
• Données:– Donnéesactuellesethistoriquesd’appelsau911;– Informationsrelativesauxévénements delavilleetdesrégionslimitrophes;
– Conditionsmétéorologiques;– etc.
• Méthode:– Analyserlesinteractionsentrelesdonnéesactuellesethistoriques.
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 39
Casd’étude:PolicedeRichmond• Composantestechnologiques:
• Outildevisualisation:– Représentationdesindicateurssurlacartegraphiquedelaville.
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 40
Technologie Composante
Webfocus(InformationBuilders) Intégrationdesdonnées
SPSS(IBM) Analyseprédictive
ESRI Correspondancedynamiquedesinformationsgéographiques
Casd’étude:PolicedeRichmond
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 41
Casd’étude:PolicedeRichmond• Résultats:
– Affectationoptimaledesressourcespolicières;– Meilleureanticipationdesactivitéscriminelles;– Lecrimeaétéréduitde49%;– Moinsd’appelsau911.
DépartementdegénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 42
Recommended