Business Intelligence & Testing - Verified · 9/8/2015  · DEVOPS & Agile testen ......

Business Intelligence & Testing

Ferran Rohaan, Brian Engel, Armando Dörsek

8 september 2015

Agenda

• Introductie

• Doelstellingen Werkgroep

• Beschrijving DWH & Business Intelligence

• Typische DWH & BI architectuur

• Wat testen we waar?

• Audit Trail

• Risico’s, Testsoorten en Testspecificatietechnieken

• Testtools & Testautomatisering

• Testrollen, profielen

• Vervolgstappen Werkgroep

2 Testen van BI en DWH 11 september 2015

Werkgroep

• Wie

• User Stories

• Producten, Ambities

3 Testen van BI en DWH 11 september 2015

#001 SKILLS

Als Tester

Wil ik weten welke technische vaardigheden

ik moet beheersen

Zodat ik op een BI/DWH project wordt

aangenomen

Arnout Groen, Iris Groenewoudt

Martijn de Ruijter, Armando Dörsek.

Carmen van der Veen, Petra

Osephius, Roy Jacobs, Geri

Kruitwagen, Brian Engel, Ferran

Rohaan, Armando Dörsek

User Stories

11 september 20154Testen van BI en DWH

Business Intelligence

• Wat is …

6 Testen van BI en DWH 11 september 2015

Audit

Datamart Analyse & Rapporten

Staging DWHBron

Een standaard DWH/BI landschap

11 september 2015

Microsoft

Oracle

AuditAudit

Rapport

Flat File

Rapporten

Analyse

Testen van BI en DWH7

Stermodel vs 4NF

Testen van BI en DWH 11 september 20158

Managementperceptie Testen van BI

9 Testen van BI en DWH 11 september 2015

Wat testen we waar?

Audit

Datamart Analyse & Rapporten

Staging DWHBron

12 Testen van BI en DWH 11 september 2015

Microsoft

Oracle

AuditAudit

Rapport

Flat File

Rapporten

Analyse

Bepalen teststrategie

• Variatie bronnen

• Eigenaarschap

• Testbasis

• Begroten

• Bemensing

15 Testen van BI en DWH 11 september 2015

Bepalen teststrategie (2)

• Privacy

• Opvoeren testgevallen

• Opbouwen historie

• Omvang

• Performance

16 Testen van BI en DWH 11 september 2015

Audit Trail

Audit

Datamart Analyse & Rapporten

Staging DWHBron

11 september 2015

Microsoft

Oracle

AuditAudit

Rapport

Flat File

Rapporten

Analyse

Testen van BI en DWH18

Audit Trail

• Controlelijsten (data kwaliteit)

• Voor “intern” gebruik (bv. ontwikkelaars, testers)

• Voor “extern” gebruik (bv. auditors, controllers)

• Herleidbaarheid van gepresenteerde data

• Performance Monitoring van het DWH

19 Testen van BI en DWH 11 september 2015

Pauze

Na de Pauze…

Testspecificatietechnieken

Testspecificatietechnieken

• Belang van testontwerptechnieken

• Onderbouwde invulling van de teststrategie: afgesproken

dekking op de afgesproken plaats

• Reproduceerbaar

• Gestandaardiseerd: testproces is onafhankelijk van persoon die

de testgevallen specificeert en uitvoert, is overdraagbaar en

onderhoudbaar

• Beter meetbaar, beter planbaar en beheersbaar

• Keuze voor “specifieke” testspecificatietechnieken bij Business

Intelligence Toepassingen en DWH?

23 Testen van BI en DWH 11 september 2015

Testspecificatietechnieken

• Kijkend naar het BI/DWH landschap:

• Interfaces, Gegevensstromen

• Beslissingen

• Betekenis

Syntactische testen, Semantische

Testen, Beslissingstabellen, Proces

Cyclus Testen, Data Combination

Testen, State Diagram, Exploratory

Testing

24 Testen van BI en DWH 11 september 2015

Testspecificatietechnieken

• Risico-inschatting (PRA) …

• Testbasis …

• Sjablonen …

• Testsituaties …

• Testdata …

• Fysiek maken…

25 Testen van BI en DWH 11 september 2015

Testautomatisering bij BI & DWH

28 Testen van BI en DWH 11 september 2015

Waar?

Testautomatisering?Welke Testtooling?DEVOPS?

Wat?

Wanneer?

Hoe?

Agile?Wie?

Waarmee?

WAAROM?

Waarom Testautomatisering?

• Kosten verlagen• Time to market te verkorten• Kwaliteit te verhogen

29 Testen van BI en DWH 11 september 2015

Testautomatiseringsaspecten

30 Testen van BI en DWH 11 september 2015

Testautomatisering Kostenaspect

31 Testen van BI en DWH 11 september 2015

Licentiekosten Aanschafkosten Manuren onderhoud Manuren training Manuren toolspecialist Manuren installatie Manuren configuratie

Testautomatisering Tijdsaspect

32 Testen van BI en DWH 11 september 2015

Doorlooptijden verkortenvan het testproces

Manuren onderhoudverlagen

Time to market verkorten Veel repeterende

handelingenvergemakkelijken

Testautomatisering Kwaliteitsaspect

33 Testen van BI en DWH 11 september 2015

Gestructureerde testaanpak Regressietesten DEVOPS & Agile testen Beheersbaarheid Onderhoudbaarheid

Continuous Quality Assurance

34 Testen van BI en DWH 11 september 2015

35 Testen van BI en DWH 11 september 2015

Agile

Jenkins

SAP TAOHP QC

Welke BI testtooling ?Worksoft

DEVOPS

TOSCA

Application Life cycle management

ASAPRRBT

TRICENTIS

HP QTP

Continuous Delivery

TMAP NEXTOpen source

Jira

Mobile

SIKULI

Multi Platform Testing

Selenium

Cucumber

maatwerk

Confluence

36 Testen van BI en DWH 11 september 2015

Testautomatiseringsaspecten

37 Testen van BI en DWH 11 september 2015

Must have 5

Belangrijk 4

Medium impact 3

Nice to have 2

Niet belangrijk 1

Niet relevant 0

5

4

1

5

1

2

5

45

5

4 5

2 4

2

3

24

4

5

2

4

2

5

Scorecard Testautomatisering

BI Testtooling?

• Vastleggen bevindingen• Vastleggen testgevallen• Maken van subsets en geanonimiseerde

datasets• Data kwaliteit bepalen• Data doorzetten• Testautomatisering van ETL Testen (backend)

en Informatieproducten (frontend)• Voortbrengingsproces bewaken (inchecken

code, review opmerkingen enz.)• Audit Trail

38 Testen van BI en DWH 11 september 2015

Audit

Datamart Analyse & Rapporten

Staging DWHBron

39 Testen van BI en DWH 11 september 2015

Microsoft

Oracle

AuditAudit

Rapport

Flat File

Rapporten

Analyse

BI Testtooling

Worksoft

TOSCA

HP ALM

Jenkins JiraConfluence

Sikuli

Selenium

Cucumber

Motio CIWinscp

Soap UI

XMLspy

Oracle

Toad

DBfit

SQL Developer

Profielen van DWH/BI-testers

Audit

Datamart Analyse & Rapporten

Staging DWHBron

11 september 2015

Microsoft

Oracle

AuditAudit

Rapport

Flat File

Rapporten

Analyse

Testen van BI en DWH41

Profielen van BI/DWH Testers

Testmanager

Testcoordinator

Test Analist ETL

Test Analist Reporting & AnalyticsTest Data Expert

Test Automation Expert

Omgevingsbeheerder

Profielen van BI/DWH-testers

Testrollen, een aantal voorbeelden:

• Test Manager

• Test Coördinator

• Test Analist ETL

• Test Analist Reporting & Analytics

• Test Automation Consultant

• Test Data Expert

• Testomgeving Beheerder

Invloeden: SCRUM/Agile, omvang van teams en

projecten, verdeling van werkzaamheden over bouwe

en test, projectteams en beheerorganisatie, etc.

42 Testen van BI en DWH 11 september 2015

Wrap up / Conclusie

43 Testen van BI en DWH 11 september 2015

• Kennis en Kunde groeit

• Testers kunnen al veel:

punten op de i

• Samenwerking

• Middelen: sjablonen en

tools (testautomatisering,

subsetting, anonimisering,

audit trail, bewaken BI

voortbrengingsproces)

• Data kwaliteit en Testen

• BI/DWH wordt “gewoon”:

groeiende behoefte.

Dank voor uw aandachtTot ziens!

Meer informatie

11 september 201545Testen van BI en DWH

Testnet Werkgroep Testen van Business Intelligence & DWH

https://goo.gl/R3YZgD

Ferran Rohaan +31(6)31765803 ferran.rohaan@closesure.nl

Brian Engel +31(6)30141327 brian.engel@squerist.nl

Armando Dörsek +31(6)23054054 armando.dorsek@verified.nl