DevOps et gouvernance des données DB2

Sommaire :

1. Introduction

2. Qui sommes nous

3. Gouvernance des Données : enjeux

4. Retour d’expérience de LANDAUER Europe

5. Questions/réponses

DevOps et gouvernance des données DB2

Les intervenants

Thierry

LABRUNIE

Cédric

CHAPUIS

Pascal

BLANDIN

ITHEIS

Directeur

technique

LANDAUER

Responsable

informatique

ITHEIS

Directeur

Thierry.labrunie@itheis.

com

cchapuis@landauer-

fr.com

pascal.blandin@itheis.c

om

Qui sommes-nous ?

Modernisation accompagnée

AUDIT INTERVENTIONTECHNIQUE

FORMATION SUPPORTA.M.O

Méthodologie :

Solution DevOps IBM i

3 niveaux de

transformation et

1 processus de pilotage

Solutions de modernisation IBM i

Méthodes et outils

intégrés RDi

Approche « Best of breed » *

Best of breedest un positionnement marché qui consiste, pour une solution logicielle, à viser l'excellence sur un segment

spécifique. A l'opposé, les "généralistes" cherchent à offrir la couverture fonctionnelle la plus large possible,

c'est-à-dire à intégrer de nombreuses fonctionnalités.

Solution complète de modernisation

• Découverte relations

• Intégrité référentielle

• Migration SQL

• Cleaning données

• Modèle graphique

• Documentation

• Migration ouverte

• Gestion data de test

• Mobiles

• Revamping

• Emulation Web

• Charte graphique

• UNICODE

• Full SOA

• Intégration .NET

• Découpage en Aires

• Analyse d’impacts

• Diagrammes de flux

• Externalisation I/O

• Intégré à RDi

• RPG à FreeForm

• Synon2E Modernize

• Règles de gestion

User Interface Applications Database

• Gestion des versions et des mises en production

• Conformité règlementaire Sarbannes-Oxley

Solution complète de modernisation

• Découverte relations

• Intégrité référentielle

• Migration SQL

• Cleaning données

• Modèle graphique

• Documentation

• Migration ouverte

• Gestion data de test

• Mobiles

• Revamping

• Emulation Web

• Charte graphique

• UNICODE

• Full SOA

• Intégration .NET

• Découpage en Aires

• Analyse d’impacts

• Diagrammes de flux

• Externalisation I/O

• Intégré à RDi

• RPG à FreeForm

• Synon2E Modernize

• Règles de gestion

User Interface Applications Database

• Gestion des versions et des mises en production

• Conformité règlementaire Sarbannes-Oxley

Enjeux autour de la donnée

Montée en puissance du digital

Des données de plus en plus volumineuses

Intelligence concurentielle

Nouveaux enjeuxrèglementaires très

forts

Nécessité de pilotage

Multiplicité des Bases

DB2 for i : SQL

Intégration

Un monde qui change

Intégration Les applications orientées « traitements » sont :

- Plus chères à fabriquer, maintenir, tester, intégrer

- Peu compréhensives

- Difficiles à sécuriser

Préambule : Data Centric

IntégrationLes applications « Data Centric » :

- Concentrent règles, calculs et contrôles en un point unique pour tous : DB2 for i

- Soulagent les traitements

- Sont faciles et moins cher à définir, tester et intégrer

- sécurisées

DB2 for i : SQL

Intégration

Favoriser la création de valeur

Sécurité

des

données

Maitriser la qualité

Réglementaire

Organisation

(DBA)

PilotageEchantillon

nage

Partage

Référentiel

Unique

Analyse

d’impact

DATA

Intelligence

Confiance

Agilité

Intelligence

• Référentiel unique avec Noms longs et Meta données

• Exprimer les relations et le modèle

• Partager le Modèle relationnel

• Documentation et compréhension

• Modèle et sous modèle (embeded Diagram)

Confiance

• Qualité des données (DDS vs DDL)

• Nettoyage Physique et Logique

• Identifier les programmes qui ne respectent pas l’IR• Traçabilité des données (Temporal Tables)

• Cryptage (RCAC)

• GDPR

• Anonymisation des environnements DEV et RECETTE

• Pistes d’audit au niveau de chaque enregistrement

Agilité

• Transformation de DDS à SQL sans recompilation

• Pilotage depuis le modèle : génération des scripts SQL

• Générations des SQL Views depuis le modèle

• Automatisation du design (PK et FK automatiques)

• Génération de Bases de Test compactes, cohérentes et

représentatives (Importance des relations)

Outillage implémenté sur ces projets

• Pour gouverner la base

• Pour gouverner les opérations de maintenance

Agilité 1/3 : Vue d’un domaine

• Les embeded Diagrams : Liste des tables

• Les Tables : Clefs Primary et Foreign

Agilité 2/3 : Modèle relationnel

• Double click sur un « Embedded Diagram »

• Tables et relations d’un sous-modèle

Agilité 3/3 Vue détaillée d’une table

• Avec ID ajouté (en jaune)

• Avec dates « Time Stamp » (en vert)

• Avec Date ajoutée (en bleu) renseignée par Trigger selon la date native DDS

• Avec noms longs Tables et champs,…

Une image vaut mieux qu’un long discours

Contact_ldr_du_client_pk

Code_site [table catégorie client]

N_interne_client [fichier des clients]

Categorie_client [table catégorie client .code_parametre]

Contact ldr du client

Fichier_des_adresses_pk

N_adresse

Fichier des adresses

Fichier_des_clients_pk

Code_site [table act iv ité client]

N_interne_client

Secteur_act ivite [table act ivité client.code_parametre]

Secteur_commercial [table secteur commercial.code_parametre]

N_adresse_client [ fichier des adresses.n_adresse]

Type_tiers_groupe [ table type tiers.code_parametre]

N_tiers_groupe [ fichier des tiers.numero_t iers]

Type_tiers_don_ordre [table type tiers.code_parametre]

N_tiers_don_ordre [fichier des t iers.numero_tiers]

Fichier des clients

Fichier_des_t iers_pk

Code_site [table type t iers]

Type_de_tiers [table type t iers.code_parametre]

Numero_tiers

N_adresse [ fichier des adresses]

Fichier des tiers

Fichier_domiciliations_bancaires_clients_pk

N_interne_client [fichier des clients]

Fichier domiciliations bancaires clients

Fichier_facturat ion_clients_pk

N_interne_client [fichier des clients]

N_adr_facturation [fichier des adresses.n_adresse]

Mode_envoi_facture [table mode d'env oi de factures.code_parametre]

Monnaie [table monnaie/devise.code_parametre]

Terme_facture [ table emission facture.code_parametre]

Periodicite_facture [table périodicité facturation.code_parametre]

Moyen_de_paiement [ table moyen paiement .code_parametre]

Delai_de_paiement [table délai paiement .code_parametre]

Code_tv a [ table tv a.code_parametre]

N_adresse_facturat ion [f ichier des adresses.n_adresse]

N_adr_envoi_facture [ fichier des adresses.n_adresse]

Code_site [table tva]

Fichier facturation clients

Fichier_r_sultats_clients_pk

N_interne_client [fichier des clients]

Type_adresse [ table type d'adresse.code_parametre]

N_adresse_resultat [f ichier des adresses.n_adresse]

Type_de_tiers [table type t iers.code_parametre]

N_de_tiers [f ichier des tiers.numero_tiers]

Moyen_livraison_resultats [table moyen liv raison.code_parametre]

N_base_adresse_res [f ichier des adresses.n_adresse]

Code_site [table moyen liv raison]

Fichier resultats clients

Fichier_sous_comptes_clients_pk

N_interne_client [fichier des clients]

N_adresse_s [f ichier des adresses.n_adresse]

Moyen_livraison_produit [ table moyen livraison.code_parametre]

N_adresse_livraison [f ichier des adresses.n_adresse]

Code_site [table moyen liv raison]

Fichier sous-comptes clients

Is_tabpap_sql_table_pk

Table pays

Is_tabtv p_sql_table_pk

Code_site

Code_parametre

Table tva

Table_activite_client_pk

Code_site

Code_parametre

Table activité client

Table_categorie_client_pk

Code_site

Code_parametre

Table catégorie client

Table_delai_paiement_pk

Code_site

Code_parametre

Table délai paiement

Table_emission_facture_pk

Code_site

Code_parametre

Table emission facture

Table_langue_pk

Table langue

Table_mode_d_envoi_de_factures_pk

Code_site

Code_parametre

Table mode d'envoi de factures

Table_monnaie_devise_pk

Code_site

Code_parametre

Table monnaie/devise

Table_moyen_livraison_pk

Code_site

Code_parametre

Table moyen livraison

Table_moyen_paiement_pk

Code_site

Code_parametre

Table moyen paiement

Table_periodicite_facturation_pk

Code_site

Code_parametre

Table périodicité facturation

Table_secteur_commercial_pk

Code_site

Code_parametre

Table secteur commercial

Table_tit re_pk

Table titre

Table_type_d_adresse_pk

Code_site

Code_parametre

Table type d'adresse

Table_type_tiers_pk

Code_site

Code_parametre

Table type tiers

Model: Landauer SQL

Diagram: --Main-- Display: --Main--

Designer: Company:

Version: 51 1/28/2015 7:56:50

A faire / à ne pas faire

• Evitez les projets sous marins. Il faut un sponsoring fort.

• Pensez à accompagner les métiers dans les phases de cleaning

C’est un projet d’entreprise1

C’est un projet à découper en étapes courtes2

• Pensez à communiquer et impliquer les équipes de DEV

C’est un projet ambitieux et stratégique3

• Peut être à initier à l’occasion d’un projet métier• Déployez la gouvernance de manière progressive en valorisant les 1er

succès

ALM : Gestion du cycle de vie applicatif

Demande

Planification

Analyse

Developpement

Tests

Deploiement

Retour d’expérience : LANDAUER Europe

• Leader mondial en fourniture d’équipements et de services de dosimétrie passive

Cédric

CHAPUIS

Responsable

informatique

LANDAUER Europe

cchapuis@landauer-fr.com

Landauer Europe

• Appartient au groupe Landauer Inc, leader de la dosimétrie passive.

• 50 personnes en France (Vélizy-Villacoublay)

• 13,5M d’eu o de CA

Landauer Europe : IT

• 4 personnes :

• Un Responsable systèmes et applications

• Un Développeur IBM i

• Un Développeur C#

• Un Responsable IT

• Landauer Eu ope utilise l’IBM i pou g e toute l’a tivit de suivi dosimétrique

Contraintes SOX

• L’e vi o e e t de d veloppe e t doit t e s pa de la

production.

• SoD : Segregation of Duty (Séparation des tâches)

• Les opérations de mise en production doivent être tracées

Contraintes GDPR

• Landauer est concerné par la GDPR

• Faut-il encore la présenter ?

Le développement sur le i chez

Landauer

Le développement i chez Landauer

• RPG IV en environnement ILE• Modules ILE + programmes de services

• Tout nouveau programme doit être :• De type SQL RPG ou SQL (Procédures stockées)

• Si RPG, il est soit FREE soit FULL-FREE

• Un source = Un objet• Une table SQL, un module RPG, une procédure stockée etc.

• E vi o e e ts g s pa l’ALM TD/OMS

Organisation des environnements

Développement Production réelleTest

ObjetsSources Objets

• 2 partitions pour 3 environnements

• Chaque environnement utilise un jeu de données qui lui est propre

• Les t a sfe ts e t e e vi o e e ts so t g s pa l’ALM

Iso Production

Données dév.

Sources Objets Sources Objets

Données test Données Iso prod. Données

ALM = Application Lifecycle Management (TD/OMS)

ALM = Application Life Cycle Management

Ce terme couvre l'ensemble des moyens nécessaires au développement

ou à la maintenance d'une application.

(Wikipedia)

ALM, concrètement

• Automatise les transferts entre environnements

• Gère les dépendances entre les objets

• Gère les développements concurrentiels

• Assure la traçabilité de toutes les opérations

ALM, appliquée aux données

Gestion des environnements

• Les do es e so t ja ais t a sf es d’u e vi o e e t à l’aut e

Gestion des dépendances

• Le maintien du référentiel de dépendance Programmes/Données est automatisé

et e ous de a de plus d’effo t

ALM, appliquée aux données

Automatisation des déploiements : Gestion des droits

• Changement du propriétaire des objets programmes lors du passage en PROD

réelle + exécution en *OWNER

• Ta les / Fi hie s : Adoptio des d oits de l’o jet e pla ou, si atio , attribution de droits définit par défaut.

ALM, appliquée aux données

Automatisation des déploiements

• Permet de découper un développement en petites unités

• La mise en production ne demandant aucun effort

• …Et do la possi ilit de d veloppe des fo tio s p o du es testa les unitairement par le développeur

• …Ce ui li ite le esoi de jeux d’essais volu i eux

Nous contacter

Pour nous joindre pour toute question ou demande

ITHEIS

Pascal BLANDIN

General Managerpascal.blandin@itheis.com+33 (0)4 4221 5702www.itheis.com

LANDAUER EUROPE

Cédric CHAPUIS

Responsable Informatique | IT Managercchapuis@landauer-fr.com+33 (0)6 73 16 44 77www.landauer-fr.com

Rejoignez nous sur www.itheis.com

Tel: +33 (0) 4 42 21 57 02