35
Agilité en BI et Wherescape Michael Tantrum Wherescape USA Marc-Eric LaRocque Procima Experts PROCIMAEXPERTS.COM/WHERESCAPE-RED

Procima deck 7 May 2014

Embed Size (px)

DESCRIPTION

Presentation made on May 7 2014 with Wherescape, Hotel Bogue, Montreal

Citation preview

Page 1: Procima deck 7 May 2014

Agilité en BI et WherescapeMichael TantrumWherescape USA

Marc-Eric LaRocqueProcima Experts

PROCIMAEXPERTS.COM/WHERESCAPE-RED

Page 2: Procima deck 7 May 2014

L’AGILITÉ APPLIQUÉE AU BI

Page 3: Procima deck 7 May 2014

Les 6 piliers permettant l’agilité

Ces éléments sont facilitants afin d’appliquer Scrum/XP àun projet DW/BIavec succès

• La technologie

• L’assurance qualité

• L’estimation

• L’adaptation des sprints

• L’équipe

• L’interfacte à l’organisation

Page 4: Procima deck 7 May 2014

Pilier #1Composition d'équipe et dynamique

Page 5: Procima deck 7 May 2014

Rôles sur une équipe Scrum DW/BI

–Product Owner: à lui le résultat, il décide

–Scrum Master: à lui le processus, pas un PM

–Architecte de projet: gère les besoins et les solutions

–Analyste/Modélisateur de données

Définie tables, profilage, définie modules ETL

–Développeurs: front-end & back-end

–Ingénieur de tests: organisation des tests, automatisation,

gestion des jeux de test

6-9 joueurs

Page 6: Procima deck 7 May 2014

Pilier #2Adapter le concept du sprint au BI

Page 7: Procima deck 7 May 2014

Le Pipeline : adaptation Scrum au BI

– Donne à chaque métier un sprint complet pour exécuter son travail

– Les rencontres quotidiennes et de planification sont nécessaires pour assurer la continuité de la livraison d'un package

Iteration Solution Architect

Data Modeler / Sys Analyst

Coders Sys Test

Solution Reqts Technical Reqts Potentially Shippable Shippable Code

-1

0

1

2

3

4

A

B

B

B

B

A

A

A

C

C

C

C

D

D

D

Page 8: Procima deck 7 May 2014

Pilier #3Meilleures estimations: “size-based”

Page 9: Procima deck 7 May 2014

Le problème avec l'estimation

– Distribution des estimés traditionnels– Pour avoir 95% de certitude, on doit multiplier les estimés des

développeurs par 4(Étude de 400 projets chez Haliburton)

1x 2x 3x 4x

Ratio des estimés réels

95% degré de confianceMoyenne

Fréquen

ce

Page 10: Procima deck 7 May 2014

Estimation fondée sur la taille

– Agile utilise une méthode en pair fondée sur la taille comparative

– L'estimation de ce qui peut êtrelivré dans un sprint ne se fait pas en heures

– Le cerveau humain compare très bien

– Facilité à comparer un nouveaumodule à un déjà livré

Qu'est-ce qui est plus facile à soulever?

Formes différentes, mais intuitivement nous savons que la pomme et la banane pèsent

environ la même chose

Page 11: Procima deck 7 May 2014

Carte de base d'estimation (CBE)

– Consensus d'équipe sur tâches requises pour chaque objet DW/BI majeur

– Estimés pro forma– Heures d'efforts– Utilisé comme guide– Évite de repenser chaque fois– Permets la conception et l'estimation

par exception– Revisité lors des rétrospectives &

peut-être ajusté

  Type 2 Slowly Changing Dimension• High-level design conference 2hr• Low-Level design conference 3hr• Finalize table DDL 3hr• Create table & indexes 1hr• Create view for incremental source 1hr• Create incremental load mapping

- Row-level meta data columns 6hr- Straight through columns 3hr - Derived columns ?

• Create view for initial source 1hr• Adapt for initial load mapping 6hr• Create session 3hr• Add to workflow 2hr• Move to nightly build folder 2hr• Create parm setting script 2hr• Update tar ball & version control 1hr• Code walk through 3hr• Document per dept stds 3hr

Page 12: Procima deck 7 May 2014

Pilier #4L'assurance qualité dans le cadre agile BI

Page 13: Procima deck 7 May 2014

Deux éléments souhaitables

– Tests automatisés• Découverte immédiate d'erreurs de code• Plus facile de cibler les erreurs• Définition implicite de "complété" (pas d'extras)• Démontre au client que le DW est correct• Permets de réaliser des tests quotidiennement• Moins d'erreurs opérationnelles

– Référentiel de jeux de données de test• On doit vraiment penser aux besoins pour créer ceci• Permets de rouvrir le code pour maintenance

Page 14: Procima deck 7 May 2014

Maintenir la vitesse des développeurs

– Développeurs doivent travailler indépendamment• leur procurer un sandbox• contrôle de versions efficace

– Ont besoin de tests unitaires rapides et utiles• gestion de petits jeux de données statiques

– Doivent répéter les tests unitaires souvent• gestion des jeux de données "attendus" pour comparaison

– Doivent détecter les modules problèmes rapidement• validations automatisées• build chaque soir et exécution des chargements staging-marts

– Doivent simuler les deltas• plusieurs échantillons de temps dans les jeux de données

Page 15: Procima deck 7 May 2014

Toute l'équipe a un rôle à jouer

– Architecte de projet• Requêtes-utilisateur pour chaque étoile, sujet• Scripts de démo• Récupère les tests d'acceptation formels

– Analyste• Cas de tests unitaires source-cible• Valide les métadonnées au niveau des rangées

– Modélisateur de données• Cas de tests d'intégration à partir du modèle•  Assure la cohérence inter-table

– Ingénieur de Test• Compile tous les tests, organise• Assure les exécutions tous les soirs

Page 16: Procima deck 7 May 2014

Pilier #5Interface à l'organisation

Page 17: Procima deck 7 May 2014

Gestion des besoins agile BI 80/20

Phase d’initiation

Concept du système

(Analyste Aff.)

Demande client

(Analyste Aff.)

Document de Vision

(Architecte projet)

Phase de Création

Cas d’util. de solution (Architecte Projet)

Phase d’Élaboration

Cas d’util. applicatif(Analyste BI/TI)

“Comment nous allons créer de la valeur”

“Voici ce qui ne marche pas et comment nous ferions pour y remédier”

“Voici les problèmes que nous comprenons et une ébauche de solution ”

“Voici un schéma en étoile que nous allons construire pour vous”

“Voici un module ETL que nous allons construire pour eux”

Besoins d’affaires

Besoins fonctionnels

Spécifications TI

Sprint -1 Débute avec sprint 0

Page 18: Procima deck 7 May 2014

S'intégrer à l'organisation

Phases typiques Réponse Agile DW80/20, 25% du temps

Phase gérée en

Identification ouBonne idée

N/A Traditionnel

Étude préliminaire ou faisabilité Concept & Demande(2 page)

Traditionnel

Architecture ou Conception Document de vision(10-20 pages)Sprint -1

Traditionnel

Réalisation Cas utilisation solutionsCas utilisation applicatifsSprints 0, 1, ...

ScrumGouvernance traditionnelle

Transition production N/A Traditionnel

Page 19: Procima deck 7 May 2014

Pilier #6La technologie

Page 20: Procima deck 7 May 2014

Deux points importants

– Un environnement technologique complexe freine l'agilité• Viser à simplifier• Viser à standardiser

– S'outiller pour mieux tirer avantage de l'agilité•

• Outils de réplication de sources• Automatisations de tests• Collaboration agile• Etc.

Page 21: Procima deck 7 May 2014

Michael Tantrum

WhereScape USA

WhereScape

Automating The Development, Deployment & Management of Data Warehouses To

Maximize Business Value

May 2014

Page 22: Procima deck 7 May 2014

History

Founded in 1998 by Michael Whitehead & Wayne Richmond as a Data Warehouse Consultancy in New Zealand

RED released to market - 2003

US market investment in earnest - 2008

EU market investment - 2010

3D released to market - 2012

WhereScape India established - 2013

Page 23: Procima deck 7 May 2014

Our Business

Global – all types and sizes of customers 650 in total; 350 in USA Target DB’s = Teradata, Oracle, SQL Server, Green Plum, Netezza,

DB2

Led by data warehouse automation software that is native to the target database(s) in the customer environment. 3D for Planning RED for Building

Professional Services are offered to insure customer success Architects, Developers, and Solution Managers on-shore Developers in Pune India add cost effective bandwidth under adult

supervision

Page 25: Procima deck 7 May 2014

What We Believe

Getting the data right is critically important.

Business users/consumers of data must be served at their pace.

Automate as much of the process as possible.

Standards matter.

Document everything; later changes demand it.

The historical record that “data warehouses take too long to build and are too hard to change” is unacceptable. IT must deliver value continuously, manage ongoing changes cost effectively, and mitigate risk throughout.

Page 26: Procima deck 7 May 2014

ETL Is Not The Same Thing as DW Development

ETL DATA WAREHOUSE DEVELOPMENT

Move Data

Transform Data

Load DataFrom Sources including OLTP, files, Hadoop, etc.

Create Dimensions, Facts, Models, Views, Cubes,

Indexes, Keys

Documentation

Page 27: Procima deck 7 May 2014

Our Value Proposition

We empower IT organizations to build, deploy, and manage their data in a timeframe and manner that creates utter enthusiasm in the business community

Time to results dramatically decreases - faster

Costs decrease: license and human capital - cheaper

Quality is higher: documentation & transparency - better

Risk is mitigated: automation & methodology – with confidence

The Promise of BI…for the sake of managing the business… is realized

Page 28: Procima deck 7 May 2014

Our Flagship Product: RED

RED is an Automated Data Warehouse Development Platform That Builds Native Database Objects, Documents Them, And Schedules Data To Be Loaded.

Page 29: Procima deck 7 May 2014

Automation Use Cases

End-to-EndData Warehouse

Development Tool

Including All ETL

Complement to Enterprise ETL,

Used For Rapid/Agile Build Out of a View or Semantic Layer

Green Field

Clean Up Hand-Written

Code and Scripts

Manage Deployments

Rewrite & Recast Heterogeneous

Database Solutions

Big DataIntegration

ELT 2.0

Configuration Management

Semantic Layer

Page 30: Procima deck 7 May 2014

3D: A New Tool For Planning

Data ProfilingWarehouses

DatabasesFilesXML

JDBCODBC

Source Model HTMLWord

Profile Design

Physical

Existing DW

Dimensional

Document

Embeds Profiling Results

Team Enabled

Scheduler

Write queries in the model before building

Massively Configurable

3D designed to integrate with RED

Page 31: Procima deck 7 May 2014

“WhereScape RED’s tight integration with Teradata and built-in best practices are empowering our resource-constrained development team to tackle a large implementation that will enable us to quickly deliver value to our institution and members.”

Su Rayburn, Director of Business Intelligence Services

Page 32: Procima deck 7 May 2014

“We estimate the development lifecycle is 20-25% of what it was previously when we were hand coding.”

– Dan Mosher, Director of Enterprise Data Warehousing

And. . .

Page 33: Procima deck 7 May 2014

Independent Analysts Say . . .

“WhereScape provides an attractive alternative for quickly prototyping, building and deploying data warehouses as well as dependent data marts for targeted BI solutions that can be quickly adapted as the business dictates.”

– Claudia Imhoff, President, Intelligent Solutions, Inc.

Page 34: Procima deck 7 May 2014

And. . .

“WhereScape can assist IT organizations not only with building out a data warehouse, but also keeping it updated and refreshed after deployment, an ‘Achilles heel’ for organizations that often run out of budget and reallocate resources once the warehouse is deployed.”

– Mark Madsen, President, Third Nature, Inc.

Page 35: Procima deck 7 May 2014

Summary

WhereScape’s approach with data warehouse automation yields customer results that are stunning: faster, cheaper, better, with confidence

RED: A proven product used by 650 customers anchors our value proposition

3D: A new product used by an emerging set of customers as a complement to RED for aligning models with real data in a number of usage cases