22
DESIGN THE DATA DRIVEN DISRUPTION

OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

D E S I G N T H E D A T A D R I V E N D I S R U P T I O N

Page 2: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

www.jems-group.com

Lundi 11 mars – 16:40 17:00

Pascal Dury

Vice PrésidentData Management

GDPR as a service : accélérez votre mise en

conformité

QUELLE PLACE POUR LES OUTILS

MDM DANS LES

ENVIRONNEMENTS BIGDATA

AUJOURD'HUI

Page 3: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

AGENDA

1. INTRODUCTION

2. LE MDM AU CŒUR DE LA STRATÉGIE DATA

3. CE QUE LE DATALAKE CHANGE

4. POUR ALLER PLUS LOIN ?

Page 4: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

QUI SOMMES NOUS ?

ISO 27001

+50

RSE

BPI

Certification en 2017

Clients grand compte

Signataire Global Compactde l’ONU

BPI Excellence depuis 2010

2002

50M€

550

Création de JEMS

Chiffre d’affaires (2019)

Collaborateurs (2019)

Paris – Londres – New York

Page 5: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

AGENDA

1. INTRODUCTION

2. LE MDM AU CŒUR DE LA STRATÉGIE DATA

3. CE QUE LE DATALAKE CHANGE

4. ALLER PLUS LOIN ?

Page 6: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

LE MDM

Pointsd’utilisation

Vision 360°

Analytics

Reporting

Legacy

CRM, ERP, Finance

Points deCapture

Operational Systems

CRM

ERP

Finance

Legacy

Qualité de la donnée

Cohérence

Administration

Création d’un point de vérité

Page 7: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

LE MDM AU CŒUR DE LA STRATÉGIE DATA

Reuters®

MDM

Ingestion

Data Stewardship

Meta données Diffusion

Qualité

Stockage ethistorisation

CRM

ERP

Finance

Legacy

D-U-N-S®

Applications

Datawarehouses

BI

Donnéesexternes

Page 8: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

• Workflow d’acquisition• Workflows de gouvernance• IHM de saisie/correction• Administration

• Validation des données• Mise en qualité• Gestion des identifiants• Dé doublonnage• Transcodifications

• Audit• Indicateurs• Tableau de bord

• Versatilité du modèle de données

• Capacité de gestion du modèle

• Versioning• Traces• Archivage

• Consultation• Profils / Habilitations• Exports de données• Gestion des évènements

• Administration • Gestion des droits• Monitoring• Gestion des IHM

PILOTAGEACQUISITION ET PROCESSUS

ADMINISTRATION

ACCÈS ET DIFFUSION

PRINCIPALES FONCTIONS DES OUTILS MDM

MODÉLISATION ET GESTION DES META DONNÉES

STOCKAGE ET JOURNALISATION

QUALITÉ DES DONNÉES

Page 9: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

AGENDA

1. INTRODUCTION

2. LE MDM AU CŒUR DE LA STRATÉGIE DATA

3. CE QUE LE DATALAKE CHANGE

4. ALLER PLUS LOIN ?

Page 10: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

UN MONDE OU LA DÉNORMALISATION EST CLÉ

LE DATALAKE

Internal / External

Data SourcesUsages

RAW DATA DATA TABLES DATA VIEWS

• DONNÉE BRUTE

• Stockage à l’identique

• Historisation et traçabilité de

l’Information

• FORMAT SOURCE : Pas de modification de

structure

• Donnée enrichie et / ou nettoyée

• Vision fonctionnelle / source de la donnée

• VUE CAS D’USAGE : Données

spécialement préparée pour

répondre à un cas d’usage

• Donnée préparée et modélisée

pour répondre au cas d’usage.

• Les cas d’usage peuvent être

orientés Data science,

Visualisation

STREAMING DATA

Online Data

offline

Sensors

Logs

REAL TIME VIEWS

SE

RV

ICE

LA

YE

RA

PI

Rest

Data

Science

Agile Data

Intelligence

Engines

Data

Hub

Batc

h

Données Référentielles

Page 11: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

MODÉLISER AU PLUS TARD DANS CHAINE DE TRAITEMENT

ORGANISATION DU DATALAKE EN COUCHES

DATA VIEWS : Données orientés usage. Les données sontpréparées pour répondre à une question métier

DATA TABLES : Données nettoyées et normalisées / enrichiesgardent leur structure d’origine

RAW DATA : Stockage et historisaiton des données

Amener la donnée au calcul et non le calcul à la donnée

SERVICE LAYER : Interface d’échange avec le SI. Donne accès aux différentes vues du datalake

injection des MASTER DATA sur les differentes vues

Page 12: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

LES PAIN POINTS DE L’ARCHITECTURE CLASSIQUE

GÉRER LA RELATION ENTRE LES MASTER DATA ET LE DATALAKE

DATA LAKE

Internal & External

Data Sources

Master data

providers

Ra

w D

ata

Da

ta t

ab

les

Da

ta V

iew

s

Se

rvic

e L

ay

er

MDM

Ing

est

ion

Stewardship

Master data

Processing

Diffu

sion

End Users

(internal & external)

Internal/external

sources

L’injection des Master Data dans le datalake nécessite une nouvelle réconciliation avec les données présentes

Le Datalake vient enrichir les Master Data en apportant de nouvelles sources

Une rétropropagation et alignement des ID entre Datalake et MDM est indispensable pour maintenir la cohérence

Page 13: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

AGENDA

1. INTRODUCTION

2. LE MDM AU CŒUR DE LA STRATÉGIE DATA

3. CE QUE LE DATALAKE CHANGE

4. ALLER PLUS LOIN ?

Page 14: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

DIFFUSER LA MASTER DATA DANS LE DATA LAKE POUR CERTIFIER LES DONNÉES

CERTIFIER LA DONNER DU DATALAKE

View

View

View

View

View

Master data

Enhanced data

Raw Data

Merge / enrich Certified Data

Page 15: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

LE MASTER DATA MANAGEMENT INTÉGRÉ AU DATALAKE

LE DATALAKE GOUVERNÉ

Les master data sont diffusées dans les tables du datalake

Les data views sont construites avec des données dont le niveau de qualité est garanti

des Data views sont dédiées au traitement des Master Data pour servir les usages de datastewardship

Le service Layer assure la diffusion des Master Data

DATA LAKEInternal & External

Data Sources

Ra

w D

ata

Certified

data

Da

ta V

iew

s

Se

rv

ice

La

ye

r

Usages

Master data

Processing

Legacy &

data sources

Stewardship

Page 16: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

DATA TABLES

LE DATALAKE GOUVERNÉ

STREAMING DATA

RAW DATA

ENHANCED DATA

MASTER DATA

CERTIFIED DATA

DATA VIEWS

SER

VIC

ELA

YER

Usages

Data

Science

Agile Data

Intelligence

Engines

Data

Hub

AP

I

• SOURCE

VISION

• Original Data

• Information

Traceability

Batc

h

Sources internes/

externes

Online Data

offline

Sensors

Logs Legacy

systems

REAL TIME VIEWS

• Standardized data based

• Cleansed or / and

Enriched data

• FUNCTIONAL VISION

• MASTER DATA

• Cleansed and normalized data

• USAGE ORIENTED

• Data especially prepared to

answer business questions

• Uses cases can be Data Science

or Data Visualisation

• SINGLE TRUTH of

information → Certified

and unified vision of

functional entity

RT MESSAGES

StewardshipData Governance Lineage

Page 17: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

POUR UN CONTRÔLE COMPLET SUR LE DATA LAKE

LE DATALAKE GOUVERNÉ

Traçabilité & journalisation

Qualité des données Gouvernance Performance

• Rationalisation des ressources

• Une plateforme unique pour toutesles données

• Unifier les flux d’integration

• Intégration du ML pour l’amélioration de la Qualité des données et la déduplication

• Performance

• Linéage de bout en bout au sein du datalake

• Limitation sur les workflows de gestion complexe

• IHM de datastewardhip à developer

Avantages & inconvénients

Page 18: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

LEQUEL PRIVILÉGIER, COMMENT CHOISIR ?

OUTIL MDM OU MDM INTÉGRÉ AU DATALAKE

Critères MDM Intégré au Datalake Outil MDM

Volumétrie Plusieurs dizaines de millions master data Jusqu’à plusieurs millions de master data

Vitesse de traitementBesoin d’addresser la donnée sur des temps très courts

-

Variété des sources Sources structurées & non structurées fear of internal changes

Datalake Datalake en construction ou déjà existant Pas de Datalake

Référentiel cible Client (vision 360), Produits, Personnes Tous les référentiels

Page 19: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

QUESTIONS

RÉPONSES

Page 20: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,
Page 21: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

BUSINEES INTELLIGENCE

BIG DATA

DATA LAKE

GOVERNANCE

SMALL DATA

DIGITAL

ANALYTICS

INNOVATION DISRUPTIVE

DATA VISUALISATION

DATA CENTRIC

SECURITY

CLOUDFAST DATA

DATA SCIENCESMART DATA

CONVERGENCEIoT

Security Operation Center

Design Thinking

Industry 4.0

Page 22: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,

Vous avez les données, nous avonsle savoir faire