La qualité des données : la garantie de prendre les bonnes décisionsPrésentation dans le cadre du Salon du BI4 avril 2007
Éric Blanchet, M.Sc.
Directeur régional des services-conseilsEst du Canada – Québec et provinces de l'AtlantiqueServices Cognos, Amérique du NordCOGNOS INCORPORATED
Plan de la présentation
Parlons des données… Au fait, qu’est-ce qu’UNE donnée ?
Pourquoi faut-il se préoccuper de la qualité des données…?
Les problèmes de qualité des données : les raisons les plus fréquentes
Défis liés au processus d’intégration des données
Pourquoi un processus d’intégration…et non uniquement des outils d’intégration ?
Catégories des outils spécialisés en intégration et en qualité des données et exemples d’outils
Cadre de référence en gestion de la qualité
Pourquoi un CCBI ? Qu’est-ce qu’un CCBI ? Avantages d’un CCBI
Fonctions et services assumés par un CCBI
Structure type d’un CCBI
Approche de mise en œuvre d’un CCBI
Approche Cognos en CCBI
Conclusion
Parlons des données…Au fait, qu’est-ce qu’UNE donnée ?
Applications d’analyse avancée• Informations consolidées au niveau de l’entreprise• Indicateurs de gestion de la performance
Données détaillées transactionnelles• Données granulaires• Données opérationnelles
Applications analytiques
Transactions
Entrepôts de données magasins de données
Information stratégique• Information à caractére stratégique• Indicateurs corporatifs verticaux
Données agrégées• Données intégrées• Données cohérentes, fiables
KPI
Hiérarchie de l’information : de la donnée… à la décision
Se préoccuper de la qualité des données…?
Mais, en réalité…
Décisions ?
Ce que devraient être les données…
Données éparpillées,disparates
Information non fiable
Information fiable
Décisions
Données intégrées
Connaissancesnon appropriées
Présence généralisée dans les systèmes sources de données erronées, non fiables ou difficilement accessibles au sein des applications d’entreprise (ERP, SCM, CRM, DW, etc.).
Des problèmes de standardisation des données à l’échelle de l’entreprise se posent car les applications développées à l’interne ont été conçues pour répondre àdes besoins locaux et ponctuels
Les problèmes de qualité des donnéesRaisons les plus fréquentes
Les données sont hétérogènes, réparties dans de multiples systèmes et difficiles d’accès
Des modèles de représentation différents coexistent dans les systèmes existants
Les données changent rapidement, elles sont de ce fait volatiles, avec une durée de vie très variable
Besoins relatifs à des données en temps réel
Les coûts liés aux réplications ne se justifient plus
• Chacun veut avoir accès à ‘ses’ données : le ‘5A’
• Volumes de données importants
Aspects liés à la confidentialité et à la sécurité des données (data ownership)
Des réglementations (SOX, Accord de Bâle I et II) imposent des contraintes de traçabilité et de qualité des données
AieAie
AieAie
AieAie
Données éparpillées,disparates
Information non fiable
Connaissancesnon appropriées
Pourquoi un processus d’intégration…et non uniquement des outils d’intégration ?
Information fiable
Décisions
Données intégrées
Nettoyage
• Analyse des sources
• Sélection• Audit qualité
des données• Nettoyage
Transformation
• Arrimage• Transfor-
mation• Règles
d’affaires
Consolidation
• Intégration des données
• Enrichissement• Consolidation
Chargement
• Chargement des données dans les systèmes cibles
L’intégration des données
reste unprocessus complexe
Données éparpillées,disparates
Information non fiable
Connaissancesnon appropriées
Défis liés au processus d’intégration
Approche de déploiementcentrée sur l’entrepôt
Approche de déploiementcentrée sur le data mart
Services d’intégration
BDERP
Fichiersplats Cubes
Entrepôtde
données
Datamart
Datamart
Datamart
Services ETL
Metadata
Services d’intégration
BDERP
Fichiersplats Cubes
Entrepôtde
données
Datamart
Datamart
Datamart
Services ETL
Metadata
Défis liés au processus d’intégration
Approche centrée entrepôt
Avantages :Maîtrise de la complexitéPrise en compte des besoins informationnels de l’ensemble de l’entreprise tôt dans le projetModèle de données et services ETL conçus de manière à assurer les besoins futursAccent sur les méta données
Défis :Délais de mise en œuvre parfois long (approche ‘data centric’)Modélisation des données
Il est crucial de résoudre les problèmes de qualité des données dans les systèmes sources
Approche centrée data mart
Avantages :Quick hit au niveau des applications de présentation des données et de reportingRapidité et relative facilité de déploiementModèle de données spécifiques à des domaines fonctionnels
Défis :Attention aux dimensionsconformes !Modélisation des données (réaliser l’entrepôt après-coup)
Il est crucial de disposer de données de qualité dans l’entrepôt
Catégories d’outils spécialisés
Positionnement général des outils spécialisés
Nettoyage des données
Donnéesréférentielles et métadonnées
Profilagedes données
ET(M)L
Processus complexe
Processus simple
Détection et extraction Correction et gestion du cycle de vie
Catégories d’outils spécialisés
Nettoyage des données
Donnéesréférentielles et métadonnées
Profilagedes données
ET(M)L
Quatre grandes catégories d’outils
Aucun outil ne couvre toutes les catégories, ni tous les besoins fonctionnels
Toutes les catégories ne sont pas requises
Plusieurs outils comportent des fonctions dans plus d’une catégorie
Il reste à améliorer leur intégration
Gestion de qualité des données
Une approche typique de mise en œuvre d’un programme de gestion de la qualité des données (ex.: Redman, 1996, 1998, 2000 ; English, 1999) comporte 5 étapes :
ÉvolutionÉvolutionNettoyageNettoyageÉvaluation
de la qualité des données
Évaluationde la qualité des
donnéesDéfinitionDéfinition
Élaboration de la stratégie et des
critères de qualité
Élaboration de la stratégie et des
critères de qualité
Gestion du cycle de vie des donnéesGestion du cycle de vie des données
Gestion de qualité des donnéesÉtape 1
Gestion du cycle de vie des donnéesGestion du cycle de vie des données
ÉvolutionÉvolutionNettoyageNettoyageÉvaluation
de la qualité des données
Évaluationde la qualité des
donnéesDéfinitionDéfinition
Élaboration de la stratégie et des
critères de qualité
Élaboration de la stratégie et des
critères de qualité
La première étape vise à élaborer la stratégie générale de gestion de la qualité des données :
Définir la stratégie de qualitéDéterminer les exigences fonctionnellesÉlaborer le plan d’assurance qualité des donnéesEstimer les efforts et assigner les ressources
Gestion de qualité des donnéesÉtape 2
Gestion du cycle de vie des donnéesGestion du cycle de vie des données
ÉvolutionÉvolutionNettoyageNettoyageÉvaluation
de la qualité des données
Évaluationde la qualité des
donnéesDéfinitionDéfinition
Élaboration de la stratégie et des
critères de qualité
Élaboration de la stratégie et des
critères de qualité
La deuxième étape vise à élaborer un plan du projet de la gestion de la qualité, à la manière d’un projet à part entière :
Définir l’envergure du projetIdentifier les catégories de données critiquesIdentifier les problèmes connusDéfinir les critères de qualité des donnéesDéfinir les métriques de qualité des données
Gestion de qualité des donnéesÉtape 3
Gestion du cycle de vie des donnéesGestion du cycle de vie des données
ÉvolutionÉvolutionNettoyageNettoyageÉvaluation
de la qualité des données
Évaluationde la qualité des
donnéesDéfinitionDéfinition
Élaboration de la stratégie et des
critères de qualité
Élaboration de la stratégie et des
critères de qualité
La troisième étape vise à procéder à une évaluation de la qualité des données, selon les critères établis lors de l’étape précédente :
Évaluer la qualité des données
Évaluer l’extraction et le stockage des données
Réaliser une analyse des causes premières
Gestion de qualité des donnéesÉtape 4
Gestion du cycle de vie des donnéesGestion du cycle de vie des données
ÉvolutionÉvolutionNettoyageNettoyageÉvaluation
de la qualité des données
Évaluationde la qualité des
donnéesDéfinitionDéfinition
Élaboration de la stratégie et des
critères de qualité
Élaboration de la stratégie et des
critères de qualité
La quatrième étape vise à définir et à mettre en place un environnement de nettoyage des données :
Définir l’environnement de nettoyage
Mettre en place l’environnement de nettoyage
Nettoyer et corriger les données
Évaluer les résultats obtenus
Gestion de qualité des donnéesÉtape 5
Gestion du cycle de vie des donnéesGestion du cycle de vie des données
ÉvolutionÉvolutionNettoyageNettoyageÉvaluation
de la qualité des données
Évaluationde la qualité des
donnéesDéfinitionDéfinition
Élaboration de la stratégie et des
critères de qualité
Élaboration de la stratégie et des
critères de qualité
La dernière étape vise à mettre en place un nouvel environnement permettant de maintenir le niveau de qualité des données atteint suite au processus de détection et de nettoyage des données:
Définir le nouvel environnement
Mettre en place le nouvel environnement
Faire la transition vers le nouvel environnement
Évaluer les résultats obtenus
Cadre de référence en gestion de la qualitéDes ingrédients multiples pour une recette gagnante
ÉvolutionÉvolutionNettoyageNettoyageÉvaluation
de la qualité des données
Évaluationde la qualité des
donnéesDéfinitionDéfinition
Élaboration de la stratégie et des
critères de qualité
Élaboration de la stratégie et des
critères de qualité
Gestion du cycle de vie des donnéesGestion du cycle de vie des données
Cadre de référenceen gestion
de la qualitédes données
Programme de qualité des données
Organisation (ex.: CQO, Data Stewardship)
Gestion du programme
Architecture référence
métadonnées
Procédures supportant le
cycle de vie des données
Approche d’amélioration
continue(ex.: PCDA)
Critères et métriques de qualité des données
Rapports et pilotage du processus
Organisation dépourvue de données de
qualité
AieAie
AieAie
Organisation avec des
données de qualité
Centre de compétences en BI (CCBI)
Qu’est-ce qu’un CCBI ? Un concept simple mais une mise en œuvre complexe
Le concept est simple :
Un CCBI est une initiative stratégique de l’entreprise
Ayant une existence organisationnelle physique ou virtuelle
Permanente et gérée par une équipe dédiée
Pilotant le système d’information BI pour le mettre au service de la stratégie d’entreprise
Rassembler les spécialistes métier,
en TI et les utilisateurs
pour développer la valeur stratégique
du BI et le projet BI
à l’échelle de l’entreprise.
Le BI dans les organisations aujourd’hui
Développer une culture des meilleures pratiques et une communauté de pratiques
Avantages d’un CCBIPrincipaux avantages
Project Silos Architectural ApproachLe BI est vital au succès de l’entrepriseCompétences éparpillées
BICC
Implantations ponctuelles, sans continuitéCompétences fonctionnelles et techniques fragmentéesCoûts élevés, faible réutilisationEfforts importants
Meilleures pratiques exploitées au travers des projetsHaute réutilisation, ROI importantMaîtrise du TCO et des risques associés au déploiementGestion du cycle de vie BIDéploiements prévisibles, reproductibles et cohérents des initiatives BI dans toute l’entreprisePromotion des standards et encouragement à les appliquer
Fonctions et services d’un CCBIDéfinition des services selon les objectifs de chaque entreprise
Il n’existe pas de CCBI identique :
Chaque CCBI est spécifique : il est composé de secteurs fonctionnels et de services différents, selon l’entreprise
Chaque entreprise doit définir ses propres fonctions et services proposés par le CCBI, selon la stratégie d’entreprise, les besoins des utilisateurs et les orientations BI de manière à mettre en œuvre le CCBI le plus adéquat.
Définirla stratégie BI, la
mission et les objectifs du CCBI
Déterminer les compétences BI présentes et à
développer
Définir les dispositifs
et les meilleures pratiques
Définir les fonctions et les
servicesà mettre en œuvre
Fonctions et services d’un CCBIConstruire une équipe multi-disciplinaire au travers de l’entreprise
Groupe TI
Analystes et utilisateurs principaux
Utilisateurs fonctionnels• Prioriser les livrables• Obtenir du financement• Revoir les objectifs du
CCBI selon la stratégie d’entreprise
• Revoir les objectifs du CCBI selon les processus
• Tests d’utilisabilité et d’efficacité
• Identifier les données• Obtenir du financement• Développer les règles
d’affaires
• Construire et exploiter l’infrastructure
• Valider la méthodologie• Valider la technologie et
les outils
• Valider les activités exploratoires et de découverte
• Déterminer et maintenir les standards
• Évaluer les besoins de formation et de développement des compétences
CCBI
• Expertise combinée de toutes les parties prenantes
Structure type d’un CCBI
Executive Sponsor (CIO ou CFO) / Directeur du CCBI / Direction générale / Représentants influenceurs fonctionnels et TIVision stratégique - Standards BI – Gestion du portefeuille de projets – Financement
Lignes d’affairesDir. des lignes d’affaires & Dir. de projet
Project Sponsorship, Financement des projetsBesoins d’affaires
Administration du réseau et de la sécuritéSupport de l’infrastructure (HW, gestion de capacité et sécurité)
DBAs ERP et EDWGouvernance des données et Stewardship
Services BI – Analyses d’affaires
Programme CCBIDirecteur de programme
Conception du CCBI, Mesures,Évangélisation
Promotion, Suivi
Équipe du programme CCBIAssistance et coaching
Contrôle des projets / Health CheckRessources
ChampionsSupport,
Formation et développementdes compétences
Équi
pe v
ituel
le o
u dé
diée
Équi
pe v
ituel
le o
u dé
diée
Cen
tral
isé
/Déc
entr
alis
éC
entr
alis
é/D
écen
tral
isé
BI Steering CommitteeBI Steering Committee
Administrateurs systèmeAdministrateurs système
DBAsDBAs
Analystes d’affairesAnalystes d’affaires
Approche Cognos en CCBI
Évaluer le niveau de maturité de l’organisation
Élaborer un plan de déploiement qui vise àrépondre en priorité aux besoins principaux
Privilégier une approche structurée, par phase et par petits pas
Faire passer les initiatives BI de projets départementaux (isolés) à des projets d’entreprise (transverses)
Passer de l’absence de standards à des standards fondés sur les meilleures pratiques, communiqués et appliqués
Passer d’un point de vue tactique à un point de vue stratégique
INFORMEL NOUVEAUCONCEPT FORMEL MATURE ÉVOLUÉ
Meilleures pratiques CCBI ‘LITE’ CCBI
fonctionnelCCBI
évoluéCC en
gestion de performance
Niveau 1 Niveau 2 Niveau 3 Niveau 4 Niveau 5
La mise en œuvre d’un CCBI est non seulement un projet d’entreprise mais doit être envisagé comme un ‘voyage’
Niveaux de maturité croissants
Approche Cognos en CCBI (suite)
BICC Awareness
Approche conçue pour une montée graduelle en capacité (niveaux de maturité) et promouvoirl’autonomie
Options de servicespartagés pourcomplémenterles services existants
Favorise le développementdes capacités et des compétences internes par le biais d’activités de coaching
Permet d’optimiser l’exploitation et l’efficacitédes solutions Cognos au travers de l’entreprise
MANAGEDSERVICES
Le fait d’obtenir des succès répétés dans les déploiements BI permet de donner plus de valeur, au moindre coût, et en moins de temps
Conclusion
Les problèmes de qualité des données sont hélas encore trop courants dans les systèmes sources et dans l’environnement informationnel, et souvent ignorés
Il ne suffit pas de se doter d’outils d’intégration de données et de nettoyage des données, il faut mettre en place un processus de gestion de la qualité et du cycle de vie des données
La gestion de la qualité des données doit devenirun volet de la culture d’entreprise
La mise en place d’un CCBI constitue l’une des approches globales les plus performantes pour résoudre les problèmes de qualité et rehausser de manière durable le niveau de qualité des données de l’organisation