Associer MDM et offre d’intégration pour bâtir des ... · La démarche Outillée La démarche Appliquée ... • Information Analyzer intègre les attributs et les définitions

© 2008 IBM Corporation

Associer MDM et offre d’intégration pour bâtir des référentiels de qualité


Information Management Software

Agenda

� Introduction

� La démarche Qualité

� La démarche Outillée

� La démarche Appliquée: Méthodologie RDP pour MDM



Le R.D.P

• Mettre en place rapidement un référentiel client de qualité.• Initialiser et configurer la solution dans votre S.I.• Accélérer et rationnaliser le déploiement du projet• Gérer la pertinence et la qualité des données à prendre en compte• Bénéficier de l’expertise IBM et de méthodologies éprouvées dans

la mise en œuvre de référentiels clients

• Apporter une valeur au métier de l’entreprise• Proposer une vue unique des clients afin de leur servir une offre

adaptée• Disposer d’une information de qualité pour assurer un service

uniforme et cohérent sur tous les canaux clients• Simplifier l’accès aux informations via des services pré-configuré



Vos problématiques de qualité …

Sources of Data Quality Problems

12%

25%

26%

34%

46%

48%

53%

76%

Other

Data entry by customers

System errors

External data

Mixed expectations by users

Data migration or conversion projects

Changes to root/source systems

Data entry by employees

Based on 286 respondents who could select multiple answers.





Vues Consolidées

Le processus de Nettoyage des données

1. Standardiser2. Rapprocher3. Consolider

Clients

Transactions

Vendeurs / Fournisseurs

Cible

Produits / Matériels



Comment identifier et consolider des données quand le nombred’enregistrement s’élève a plusieurs millions/milliard s d’enregiqtrement ?

Un exemple de données “non propres”

90328574 IBM 187 N.Pk. Str. Salem NH 01456 8,494.00

90328575 I.B.M. Inc. 187 N.Pk. St. Salem NH 01456 3,43 2.00

90238495 Int. Bus. Machines 187 No. Park St Salem NH 04156 2,243.00

90233479 International Bus. M. 187 Park Ave Salem N H 04156 5,900.00

90233489 Inter-Nation Consults 15 Main Street Andover MA 02341 6,800.00

90234889 Int. Bus. Consultants PO Box 9 Boston MA 022 10 10,243.00

90345672 I.B. Manufacturing Park Blvd. Bostno MA 041 06 15,999.00

Pas de cléscommunes

Anomalies

Erreurs de traduction

Pas de standard



Analyse lexicale:Détermination de la signification métier de chaque composant

Mise en contexte:Identification de la structure variable des données et de leur signification

^ Repetition Street Common +Index Type Word

3 | BIS | RUE | DE | PARIS

melle Morognier Françoise 3 bis, rue de Paris 72000 Le Mans

House Repetition Street StreetNumber Index Type Name

3 | B | RUE | DE PARIS

FRADDR

3 | BIS | RUE | DE | PARISDécomposition:Détermination de la signification métier de chaque composant

Étape 1 : La standardisation (exemple � adresses)



Audi A4 TDI Quatro

Audi A4 TDI 130ch

Audi A4 TDI

Audi A4 TDI 115ch

Type Voiture

2.5 2.3

2.2 2.2

2.2 2.2

2.0 2.0

Pression

AV AR

Serie91/Y225/45ZR17

Pneu Pilot Sport

Option91/V205/55R16

Pneu Pilot Exalto

Option91/H205/55R16

Pneu Pilot Primacy

Ssérie91/H195/65R15

Pneu Energy

MonteIC/IVDimensionDescription

Pneu Energy Serie Audi A4 TDI 115ch 2.0 2.0

Pneu Pilot Primacy 205/55R16 Audi A4 91/H

Pneu Exalto Option AudiA4 130ch 2.2

Pneu Pilot Sport Serie Audi A4 TDi quattro 2.5 2.3 91/Y

Étape 1 : La standardisation (exemple � produits)



Prénom 2ème Prénom Nom Fonction

ALEXANDRE J DEMARIA DG

ALEXANDRE JEAN DEMARA DG

+7 +1 +10 +5 = 23

Les CUTOFF sont les scores

au dessus et en dessous desquels

un rapprochement est considéré comme bon ou non

0

500

1000

1500

2000

2500

3000

3500

4000

-50 -40 -30 -20 -10 0 10 20 30 40 50 60

Nbr

eP

aire

s

Non rapprochées

Rapprochées

Le score d’un poids est une mesure relative de probabilité de matchLe score d’un poids est une mesure relative de probabilité de match

Étape 2 : Le Rapprochement



•Des enregistrements rapprochés correspondent alors :

� à des vrais doublons

15,32 MLE MIREILLE BARBIERA LE PERCHOIR 119 AV DE LA BASTIDE 06130 GRASSE

10,59 MME MIRIELLE BARBIERA 42 CHEMIN DU BAMBOU 06130 GRASSE

� à un historique client (CRM : mariage,déménagement,…)

36,10 C IBM 29 RUE DU CHAMOINE DE MOREL 13000 MARSEILLE

26,85 C I.B.M 29 RUE DU MOINE DE MOREL 16000 MARSEILLE

�ou permet d’identifier la notion de groupe (filiales/corporation, foyer…)

36,36 C IBM SOFTWARE PARIS LA DEFENSE CEDEX

14,09 C IBM SOFTWARE CORP. BOSTON MASSACHUSSET

Étape 2 : Le Rapprochement



Détermine la meilleure donnée à garder “Best of Breed”� La plus fraîche� La plus fréquente� Selon la source� La plus complète….

Résoud les conflits de valeur et complète les valeurs ma nquantes

Crée les formats de sortie :� Tables relationnelles avec clés� Transactions pour mettre à jour les bases de données� Fichiers de références croisées, tables de synonymes� Pistes d’audit, rapports divers

555 36,36 MME Isabelle DURAND 3 RUE DE LA BERGERIE 34000 MONTPELLIER 23976

555 14,09 M Robert DURAND 3 RUE DE LA BERGERIE 34000 MONTPELLIER 23830

Groupe Legacy

555 23976

555 23830

Groupe Nom No Type Nom Code VilleRue Rue Postal

555 DURAND 3 RUE DE LA BERGERIE 34000 MONTPELLIER

Étape 3 : La consolidation



Operation Work Instructions in a free text field

WNG ASSY DRL 3 HOLE USE HEXBOLT ¼ INCHWING ASSEMBY, HEX BOLT .25” - DRILL FOUR, USE 5J868-AUSE 4 5J868A BOLTS (HEX .25) - DRILL HOLES FOR EACH ON WING ASSEMRUDER, TAP 6 WHOLES, SECURE W/KL2301 RIVETS (10 CM)

Assembly Instruction QTY Type Part Size Unit Measure SKU

WING DRILL 3 HOLES HEXBOLT .25 INCHWING DRILL 4 HEXBOLT .25 INCH 5J868AWING DRILL 4 HOLES HEXBOLT .25 5J868ARUDDER TAP 6 HOLES RIVET 10 CM KL2301

STANDARDISATION


WING DRILL 3 HOLES HEXBOLT .25 INCHWING DRILL 4 HEXBOLT .25 INCH 5J868AWING DRILL 4 HOLES HEXBOLT .25 5J868ARUDDER TAP 6 HOLES RIVET 10 CM KL2301

RAPPROCHEMENT

MATCH


WING DRILL 4 HOLES HEXBOLT .25 INCH 5J868ARUDDER TAP 6 HOLES RIVET 10 CM KL2301

CONSOLIDATION

Un exemple d’harmonisation (produits)DONNEES EN ENTREE



Que faire des résultats des enregistrementsrapprochés ?

• Revue des enregistrements“douteux”

• Liens de référencecroisée

• Consolidation

• Mise àjour/correction des sources de données

Référence croisée

? =





Une méthodologie adaptée à vos enjeux métiers

Time To Value

Est-ce que vos sources de données contiennent l’information que vous pensez y trouver?

Quelles sont les sources àutiliser pour ce projet?

Est-ce que le sens de vos données est celui que vous croyez?

Découvrir

Comment rapprocher les enregistrements de même signification?

Pouvez-vous corriger et améliorer la qualitéde vos données?

Standardiser

Pouvez-vous affecter un sens aux données àdestination des utilisateurs?

Pouvez-vous apporter une synchronisation des données entre les systèmes?

Pouvez-vous délivrer & mettre à jour les données en temps réel?

Vos données peuvent-elles être délivrées sur la base d’évènements ou selon leur contenu?

Transformer& Délivrer

Fédérer

Comment accéder de manière transparente, efficace et simple à des données provenant de sources hétérogènes ?



IBM Information ServerDelivering information you can trust

Comprendre Nettoyer Transformer Fédérer

QualityStageInformation Analyzer Federation ServerDataStageBusiness Glossary

Information Services Director

Metadata Server

Exécution parallélisée

Connectivité aux applications, données et contenu

Information Server

Metadata Workbench



Nettoyer

Experts Sujets Analystes

Garantir la qualité et la pertinence de vos données• Standardiser vos données …

• Tout type de données : Noms, Titre, Adresses, Description Produits, …

• Algorithmes de Phonétisation

• Ex. Standardisation et Validation postale prédéfinies pour plusieurs pays

• Rapprocher les données similaires ou en doublon• Proposer de nombreux algorithmes de

rapprochements• Comparaison exacte ou floue de chaînes de

caractères• Distance, Pourcentage, Dates

• Aucune limite dans le nombre de critères utilisés pour effectuer le rapprochement

• Entièrement personnalisable

• Consolider les doublons, reformuler la donnée

• Algorithmes prédéfinis et personnalisables

• Gestion des références croisées

Standardisation des données et

mise en correspondance avec

toutes les autres sources afin de

définir une information unique



Simplicité de mise en oeuvre : Pas de développement !

• Une interface Simple et intuitive• Les règles de qualité sont inclusent dans une logique de f lux

source àinvestiguer

information Standardisée

Rapprochement

Consolidation



L’environnement de développement de règles de rapprochement

Les composants majeurs

Histogramme de résultat

Données

Règles de décision

Séquences de Passe

Affinement des règles de

rapprochement


Méthodologie RDP* pour MDM

*Rapid Deployment Path: Methodologie de mise en oeuvre accélérée de MDM



IBM’s MDM Implementation Roadmap is based off of a series of small, high-value, low risk project phase s

Rapid DeploymentWorkshop & Offering

Adoption

Expansion

�Understand & prepare data� Lay the foundation for Data

Governance and Business Process alignment

�Baseline MDM capability built and value realization begins

�Expand existing MDM capabilities to other dependent business units and geographies

�Deploy additional MDM capabilities supporting other master data entities

�Value realization occurs at an accelerated pace

�Master data is consolidated, standardized, and managed consistently across the enterprise

�MDM capability if fully entrenched and supports/enables business change

�MDM value payoff is realized

ExpansionExpansion

AdoptionAdoption

The first phase of every implementation should be Rapid DeploymentThe first phase of every implementation should be Rapid Deployment



Starting with a targeted Rapid Deployment project i s the key to success

• Rapid Deployment focuses on delivering a solution that provides an i nitial 360 degree view of the customer quickly

• Party names, addresses and relationships to accounts, products and / or contracts are targeted to enable select departments such as Customer Service to quickly search for a party and get a snap shot of the complete relationship

• Implement automated identification and collapsing of duplicate parties

• Manual collapsing of parties may or may not be performed, depending if an existing department exists for Party maintenance activities

• Clients overall MDM roadmap builds off of the resul ts of the fast release to cement commitment and accelerate additional benefits

• Rapid Deployment release may result in a Production system or may deliver a “Proof of Concept”that additional projects build off of

• Maximizes the opportunity to provide master data to other projects, reducing their costs

• By focusing on targeted benefits, training can be t argeted as well, which enables customers to minimize their dependency on IBM



La méthodologie RDP accélère l’obtention des gains attendus en utilisant la Suite InfoSphere

• Information Analyzer simplifie le processus de desc ription et d’analyse des données et établit une tab le de correspondance en initialisant un dictionnaire m étier• Si les données ne sont pas analysées ni décrites, de nouveaux besoins métiers sont souvent découverts

pendant la phase de test.• Des besoins identifiés pendant les phases de tests rallonge la durée du projet et augmente les coûts dans la

mesure où la conception doit être revue et adaptée

• FastTrack permet d’établir la correspondance entre l e dictionnaire de données métier et le modèle MDM server en utlisant une fonctionalité de type « Drag & Drop »• Information Analyzer intègre les attributs et les définitions lors du processus de description et d’analyse des

données• FastTrack fournit en option la description du modèle de données MDM Server• Les fonctionnalités de mise en correspondance des données et d’auto génération des traitements de

transformation réduisent les besoins en formation, accélèrent les développements ETL et optimisent le sphases de tests

• Des Jobs DataStage sont fournis pour alimenter auto matiquement et directement la base de données de MDM Server en utilisant les fonctionalités de dé doub lonnage (DSP processing)• Des chargements initial et incrémental directement en base de données permettent d’accélérer la phase de

reprise des données et la phase de test associée

• QualityStage est intégrée pour la standardisation d es noms et adresses ainsi que pour la fonction de dédoublonnage de type « probabiliste »• Cette intégration permet d’économiser les coûts d’intégration avec d’autres moteur de gestion de qualité des

données• QualityStage fournit des fonctionnalités de dé doublonnage flexibles et paramétrables plus puissantes que

celles fournit en standard par MDM Server



L’offre Service RDP MDM Server

Ateliers de Préparation des données

Conception architecture & Ateliers de définition

des besoins

Profiling des données & analyse de 2 système source

Atelier de mise enCorrespondance des

données

Installation des produits enEnvironnement de dév.

Implementation

ChargementRègles de validation

Dé doublonnageStandardisation

Spécifications techniquesConfiguration MDM

PostImplementation

Assistance pour:Plan de tests

Tests intégrationRecette utilisateur

AdministrationDes données

Offre RDP



26

Mapping

Services

Logique dechargement

et qualité

Solution de chargement RDP

Rapid Deployment PackageAteliers – Préparation des données

Découverte &Analyse

SIF

SystèmesSource

Source#1

Source#2

L’approche projet RDP est structurée autour de deux axes:• Un axe conseil visant à analyser les sources de données, à les mapper avec le

référentiel et à constituer les enregistrements de chargement.• Un axe technologique visant à standardiser et rapprocher les données puis les charger

dans le référentiel



27

Systèmes Source

Une démarche outillée

MDM Business Services

MDM SERVER

Information Server

� Information Analyzer

� Fast Track

� DataStage

Duplicate Suspect Processing

MDM DatabaseHistorique

Source#N

Source#1

Source#2

Information Server

Processusde chargement

Jobs RDP

QS

SIF

Interfaceutilisateur

&Rapports



La couverture fonctionnelle du RDP standard

� Basé sur les domaines Personnes et Organisations

• Données de base tiers & contrats

• Préférences du tiers

• Hiérarchies de tiers

• Valeurs particulières de tiers

• Alertes sur le tiers

� Processus de dédoublonnage standard MDM Server:

• Consolidation activée ou non

• Règles de survie basées sur la date de mise àjour

• Données accessibles via services et interface utilisateur

• Les poids de rapprochement sont calculés par Quality Stage

� Standardisation sur les noms basée sur un dictionnaire et des règles phonétiques

� Standardisation des méthodes de contact n’inclut pas la vérification mais:

• L’identification du pays

• Standardisation des adresses canadiennes

• Standardisation des états canadiens

• Standardisation des adresses américaines

• Standardisation des états américains

• Création d’une clé phonétique sur les adresses

• Standardisation téléphonique

• Standardisation internationale (à adapter)

� Prise en charge du chargement initial batch

� Prise en charge du chargement delta batch




Thank You!

Documents

Associer MDM et offre d’intégration pour bâtir des ... · La démarche Outillée La démarche Appliquée ... • Information Analyzer intègre les attributs et les définitions