Urba ea topo-puits-v4extrait

1

LES PUITS DE DONNÉES

Exposé au 6 ième Symposium C2P-Club Urba-EA

René Mandel Vice-Président Club Urba-EAEmeline Marcoux Urbaniste SIHM

4/6/15

Valoriser les données

Paul Signac

Femmes au puits 1892

2

Les « données de référence» au cœur du SI. Statiques vs Dynamiques Positionnement des « puits »

Objectifs des Puits Mettre en cohérence les flux et échanges Synchroniser, qualifier Migrer

Principes Modélisation Effet « Janus » Migration, Qualité, Analytics

Sommaire

© Club Urba-EA

3

Données Statiques vs Dynamiques

Au cœur du SI Statiques

• Identification des personnes, produits, structures,

Dynamiques• Flux opérationnels : parcours client, cycles

productifs, administratifs, …

Pourquoi ce distinguo ? Processus de mise à jour :

• MDM : réingénierie• Puits : identiques

Subsidiarité :• MDM : par le modèle d’architecture• Puits : par granularité

Exemple des contacts commerciaux :Des événements de parcours à tracer sur

tous canaux, et à synchroniser

Abonnement

Connexion

Connexion Demande

document

Devis

Précision

Prospect

Appel

Prise rendez-

vousRendez-

vous

EchéancierInvitation

Démonstration

Engagement

Visit

e en

bo

utiqu

ePr

emie

r ac

hat

Insc

riptio

n

Cam

pagn

eRé

pons

e

Fidé

lisati

on

Acha

ts

récu

rren

ts

Client

Adresses

Réseau

Agent

Comment orchestrer ce ballet ?

© Club Urba-EA

5

Extranet Entités

SI EntitésSI Entités SI Entités

Réfé

rentie

ls Strtu

cture

s Org

anisa

tion

Réfé

rentie

l Pro

duits S

erv

ices

Réfé

rentie

l Perso

nnes

Puit Evénements commerciaux

Puit Prestations

Visions 360° (moteur de recherche, corbeille, GED…)

Configura

teursORCHESTRATEUR DES ECHANGES & REPARTITEUR DE FLUX

(interopérabilité)

Puit Equipement

Autres puits…

SI GRCSI

GestionAutre

SI

Extranets Mobiquité

Réfé

rentie

l Nom

encla

ture

s

Les piliers du SI

Middle

Back

FrontSI GRC

Positionnement des Puits

© Club Urba-EA

6

Objectifs des Puits

Simplifier le SI Lutter contre la complexification des échanges Décloisonner les silos, converger (généricité du

modèle) Mettre en cohérence (identités, localisations, dates) Synchroniser

Faciliter la migration Mixer ancien patrimoine SI et nouveaux composants Orientation « service » (Daas)

Capitaliser sur les données Mettre en qualité Hybrider (Big Data, NoSQL…)

Gouvernance « Light »

6

© Club Urba-EA

7

Simplifier

N X P fluxN X P conversions de format

Besoin de simplification et de flexibilité

• Effet « spaghetti »

• Multiplication des modalités d’échange

• Les « formats pivots » ne règlent pasla complexité des latences

• Complexification « au fil de l’eau »

On aboutit à …

© Club Urba-EA

9

Simplifier

N X P fluxN X P conversions de format

Référentiel

Source GRC

Source gestion

Source externe

Vision 360

Décisionnel

Partenaire

PuitsPuitsConversions de format

Moteur de

recherche

Besoin de simplification et de flexibilité

• Effet « spaghetti »

• Multiplication des modalités d’échange

• Les « formats pivots » ne règlent pasla complexité des latences

• Complexification « au fil de l’eau »

© Club Urba-EA

10

Les principes

Des données …U

n «

 gra

in »

ato

miq

ue t

ri-d

até

Partagées 360°Cohérentes, subsidiaires

Pures, filtrées,Transparentes, canoniques

Fraîches, Synchronisées,Historisées , tracées

© Club Urba-EA

11

Modéliser le grain

Modéliser le grain le plus fin pertinent• Attaché à un « fait »• Identifié : occurrence de l’objet, de la personne, …• Localisé : géo-localisé, positionné• 3 dates (fait, vision, technique)• « Etats » de ses cycles de vie

Exemples• Accident, sinistre,• Activité d’une ressource• Cycle de vie d’une Personne, d’un produit, …• Trajet, circulation,• Production d’une unité d’œuvre,• Parcours client

© Club Urba-EA

12

Le modèle tri-daté

est daté

Date du fait

Le Fait

observé

Date de vision

La Vision

instrument

Date technique

L’outil

Cycle de vie de l’objet

Parcours de vision

Cycle technique

© Club Urba-EA

13

Le modèle tridaté

Le fait est daté : date du fait, → cycle de vie de l’objet

La vision est datée : vision en anticipation (le fait prévu), vision

sur le fait (le fait réel), vision en recul (retour sur le fait : retour d’expérience, enrichissement), → parcours de vision

L’instrument d’observation est daté : date technique (date de saisie, date

d’acquisition, date du fichier, …), codification des sources (canaux), des états → cycle des mises à jour (mise en qualité, précisions,…),

© Club Urba-EA

14

Modèle type d’un grain

Lieu

Où Quand

Dates

Evénement

QuoiEtat-cana

l

Identité QuiObje

t

Référencement

InformationsActeur

s

Typag

e

© Club Urba-EA

15

Eliminer la complexité due aux dialectes

Les mêmes données s’échangent dans différentes logiques (flux, stock, lots,…) et latences (synchrone, asynchrones) : Stock à date (fichier, téléchargement, …) Variation de stock entre dates (différentiel) Messages au fil de l’eau désynchronisés

(messagerie) Messages synchrones, invocation de services

En s’appuyant sur divers protocoles et standards (FTP, REST, XML, CSV…), et architectures (ESB,…)

© Club Urba-EA

16

Eliminer la complexité due aux dialectes

Tour de Babel

des dialectes,

protocoles et

latences

Stock, Delta, Flux

Asynchrone, SynchroneSy

ntax

es, f

orm

ats

Protocole

s

Serv

ices

Can

aux

© Club Urba-EA

17

Eliminer la complexité due aux dialectes

Tour de Babel

des dialectes,

protocoles et

latences

Stock, Delta, Flux

Asynchrone, SynchroneSy

ntax

es, f

orm

ats

Protocole

s

Serv

ices

Can

aux

XML

Connecteur

Fichier

Message

Services Web

EDI

Admin-istration

Gestion des

Contrats

Accès MDMGestion

cohérence

Gestion des Ser-vices

Gestion Sécurité

Cœur du puitsGrain

tri-daté

© Club Urba-EA

18

Puits de données

Web

Gestion contrat Comptabilité ODS

Web

CRM

Référentiels de

données

Interopérabilité

Orchestration

des échanges

Répartiteur

De flux

Puits de

données

Interopérabilité multi-mondes

18 Synchroniser

© Club Urba-EA

19

Migrer : effet « Janus »

Avec l’existant :• Non intrusif• Interposition

dans les échanges (leurre)

• Intégration « lâche »

Avec les projets :

• Catalogue de services de données disponibles

• En avance de phase

Historisation interne pour tout tracer et restituer toutes les latencesUtilisation de routines d’intégration de données du marché

© Club Urba-EA

20

Puits : pivot de la migration

Pivot applicatif : Nécrose : dé commissionnement progressif Couveuse : nouveau composant

Hybridation des mondes : Données modélisées classiques Données monde open source

Pivot d’architectures Le fonctionnement en Daas cache les choix et

évolutions d’architecture : données (SQL, NoSQL, …), plateformes (MBaaS,…)

Ouverture au-delà de l’espace « souverain » Avec l’Écosystème Open Data

© Club Urba-EA

21

Qualité, analytics

Puits et point de vérité (données Golden) Le puits gère le cycle de mise en qualité, et

mémorise les différents états Il trace le point de vérité L’alignement des silos source peut être

progressif (mise en cohérence par évolutions applicatives)

Puits et ODS, Data Lake Assainit l’amont opérationnel Engage le rapprochement Big Data, Synergie Data Lake (données immuables)

© Club Urba-EA

22

Data Lake divisionniste (micro-services)

Paul Signac1906

MERCI

Pour plus d’information,contactez

23

Mandel RenéRene.mandel@oresys.fr

Emeline MarcouxEmeline.MARCOUX@sihm.fr

4/6/15