Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
D E S I G N T H E D A T A D R I V E N D I S R U P T I O N
www.jems-group.com
Lundi 11 mars – 16:40 17:00
Pascal Dury
Vice PrésidentData Management
GDPR as a service : accélérez votre mise en
conformité
QUELLE PLACE POUR LES OUTILS
MDM DANS LES
ENVIRONNEMENTS BIGDATA
AUJOURD'HUI
AGENDA
1. INTRODUCTION
2. LE MDM AU CŒUR DE LA STRATÉGIE DATA
3. CE QUE LE DATALAKE CHANGE
4. POUR ALLER PLUS LOIN ?
QUI SOMMES NOUS ?
ISO 27001
+50
RSE
BPI
Certification en 2017
Clients grand compte
Signataire Global Compactde l’ONU
BPI Excellence depuis 2010
2002
50M€
550
Création de JEMS
Chiffre d’affaires (2019)
Collaborateurs (2019)
Paris – Londres – New York
AGENDA
1. INTRODUCTION
2. LE MDM AU CŒUR DE LA STRATÉGIE DATA
3. CE QUE LE DATALAKE CHANGE
4. ALLER PLUS LOIN ?
LE MDM
Pointsd’utilisation
Vision 360°
Analytics
Reporting
Legacy
CRM, ERP, Finance
Points deCapture
Operational Systems
CRM
ERP
Finance
Legacy
€
€
Qualité de la donnée
Cohérence
Administration
Création d’un point de vérité
LE MDM AU CŒUR DE LA STRATÉGIE DATA
Reuters®
MDM
Ingestion
Data Stewardship
Meta données Diffusion
Qualité
Stockage ethistorisation
CRM
ERP
Finance
Legacy
€
D-U-N-S®
Applications
Datawarehouses
BI
Donnéesexternes
• Workflow d’acquisition• Workflows de gouvernance• IHM de saisie/correction• Administration
• Validation des données• Mise en qualité• Gestion des identifiants• Dé doublonnage• Transcodifications
• Audit• Indicateurs• Tableau de bord
• Versatilité du modèle de données
• Capacité de gestion du modèle
• Versioning• Traces• Archivage
• Consultation• Profils / Habilitations• Exports de données• Gestion des évènements
• Administration • Gestion des droits• Monitoring• Gestion des IHM
PILOTAGEACQUISITION ET PROCESSUS
ADMINISTRATION
ACCÈS ET DIFFUSION
PRINCIPALES FONCTIONS DES OUTILS MDM
MODÉLISATION ET GESTION DES META DONNÉES
STOCKAGE ET JOURNALISATION
QUALITÉ DES DONNÉES
AGENDA
1. INTRODUCTION
2. LE MDM AU CŒUR DE LA STRATÉGIE DATA
3. CE QUE LE DATALAKE CHANGE
4. ALLER PLUS LOIN ?
UN MONDE OU LA DÉNORMALISATION EST CLÉ
LE DATALAKE
Internal / External
Data SourcesUsages
RAW DATA DATA TABLES DATA VIEWS
• DONNÉE BRUTE
• Stockage à l’identique
• Historisation et traçabilité de
l’Information
• FORMAT SOURCE : Pas de modification de
structure
• Donnée enrichie et / ou nettoyée
• Vision fonctionnelle / source de la donnée
• VUE CAS D’USAGE : Données
spécialement préparée pour
répondre à un cas d’usage
• Donnée préparée et modélisée
pour répondre au cas d’usage.
• Les cas d’usage peuvent être
orientés Data science,
Visualisation
STREAMING DATA
Online Data
offline
Sensors
Logs
REAL TIME VIEWS
SE
RV
ICE
LA
YE
RA
PI
Rest
Data
Science
Agile Data
Intelligence
Engines
Data
Hub
Batc
h
Données Référentielles
MODÉLISER AU PLUS TARD DANS CHAINE DE TRAITEMENT
ORGANISATION DU DATALAKE EN COUCHES
DATA VIEWS : Données orientés usage. Les données sontpréparées pour répondre à une question métier
DATA TABLES : Données nettoyées et normalisées / enrichiesgardent leur structure d’origine
RAW DATA : Stockage et historisaiton des données
Amener la donnée au calcul et non le calcul à la donnée
SERVICE LAYER : Interface d’échange avec le SI. Donne accès aux différentes vues du datalake
injection des MASTER DATA sur les differentes vues
LES PAIN POINTS DE L’ARCHITECTURE CLASSIQUE
GÉRER LA RELATION ENTRE LES MASTER DATA ET LE DATALAKE
DATA LAKE
Internal & External
Data Sources
€
Master data
providers
Ra
w D
ata
Da
ta t
ab
les
Da
ta V
iew
s
Se
rvic
e L
ay
er
MDM
Ing
est
ion
Stewardship
Master data
Processing
Diffu
sion
End Users
(internal & external)
Internal/external
sources
L’injection des Master Data dans le datalake nécessite une nouvelle réconciliation avec les données présentes
Le Datalake vient enrichir les Master Data en apportant de nouvelles sources
Une rétropropagation et alignement des ID entre Datalake et MDM est indispensable pour maintenir la cohérence
AGENDA
1. INTRODUCTION
2. LE MDM AU CŒUR DE LA STRATÉGIE DATA
3. CE QUE LE DATALAKE CHANGE
4. ALLER PLUS LOIN ?
DIFFUSER LA MASTER DATA DANS LE DATA LAKE POUR CERTIFIER LES DONNÉES
CERTIFIER LA DONNER DU DATALAKE
View
View
View
View
View
Master data
Enhanced data
Raw Data
Merge / enrich Certified Data
LE MASTER DATA MANAGEMENT INTÉGRÉ AU DATALAKE
LE DATALAKE GOUVERNÉ
Les master data sont diffusées dans les tables du datalake
Les data views sont construites avec des données dont le niveau de qualité est garanti
des Data views sont dédiées au traitement des Master Data pour servir les usages de datastewardship
Le service Layer assure la diffusion des Master Data
DATA LAKEInternal & External
Data Sources
Ra
w D
ata
Certified
data
Da
ta V
iew
s
Se
rv
ice
La
ye
r
Usages
Master data
Processing
Legacy &
data sources
Stewardship
DATA TABLES
LE DATALAKE GOUVERNÉ
STREAMING DATA
RAW DATA
ENHANCED DATA
MASTER DATA
CERTIFIED DATA
DATA VIEWS
SER
VIC
ELA
YER
Usages
Data
Science
Agile Data
Intelligence
Engines
Data
Hub
AP
I
• SOURCE
VISION
• Original Data
• Information
Traceability
Batc
h
Sources internes/
externes
Online Data
offline
Sensors
Logs Legacy
systems
REAL TIME VIEWS
• Standardized data based
• Cleansed or / and
Enriched data
• FUNCTIONAL VISION
• MASTER DATA
• Cleansed and normalized data
• USAGE ORIENTED
• Data especially prepared to
answer business questions
• Uses cases can be Data Science
or Data Visualisation
• SINGLE TRUTH of
information → Certified
and unified vision of
functional entity
RT MESSAGES
StewardshipData Governance Lineage
POUR UN CONTRÔLE COMPLET SUR LE DATA LAKE
LE DATALAKE GOUVERNÉ
Traçabilité & journalisation
Qualité des données Gouvernance Performance
• Rationalisation des ressources
• Une plateforme unique pour toutesles données
• Unifier les flux d’integration
• Intégration du ML pour l’amélioration de la Qualité des données et la déduplication
• Performance
• Linéage de bout en bout au sein du datalake
• Limitation sur les workflows de gestion complexe
• IHM de datastewardhip à developer
Avantages & inconvénients
LEQUEL PRIVILÉGIER, COMMENT CHOISIR ?
OUTIL MDM OU MDM INTÉGRÉ AU DATALAKE
Critères MDM Intégré au Datalake Outil MDM
Volumétrie Plusieurs dizaines de millions master data Jusqu’à plusieurs millions de master data
Vitesse de traitementBesoin d’addresser la donnée sur des temps très courts
-
Variété des sources Sources structurées & non structurées fear of internal changes
Datalake Datalake en construction ou déjà existant Pas de Datalake
Référentiel cible Client (vision 360), Produits, Personnes Tous les référentiels
QUESTIONS
RÉPONSES
BUSINEES INTELLIGENCE
BIG DATA
DATA LAKE
GOVERNANCE
SMALL DATA
DIGITAL
ANALYTICS
INNOVATION DISRUPTIVE
DATA VISUALISATION
DATA CENTRIC
SECURITY
CLOUDFAST DATA
DATA SCIENCESMART DATA
CONVERGENCEIoT
Security Operation Center
Design Thinking
Industry 4.0
Vous avez les données, nous avonsle savoir faire