Business Intelligence & Testing - Verified · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten, verdeling van werkzaamheden over bouwe

Business Intelligence & Testing

Ferran Rohaan, Brian Engel, Armando Dörsek

8 september 2015

Agenda

• Introductie

• Doelstellingen Werkgroep

• Beschrijving DWH & Business Intelligence

• Typische DWH & BI architectuur

• Wat testen we waar?

• Audit Trail

• Risico’s, Testsoorten en Testspecificatietechnieken

• Testtools & Testautomatisering

• Testrollen, profielen

• Vervolgstappen Werkgroep

2 Testen van BI en DWH 11 september 2015

Werkgroep

• Wie

• User Stories

• Producten, Ambities


#001 SKILLS

Als Tester

Wil ik weten welke technische vaardigheden

ik moet beheersen

Zodat ik op een BI/DWH project wordt

aangenomen

Arnout Groen, Iris Groenewoudt

Martijn de Ruijter, Armando Dörsek.

Carmen van der Veen, Petra

Osephius, Roy Jacobs, Geri

Kruitwagen, Brian Engel, Ferran

Rohaan, Armando Dörsek

User Stories

11 september 20154Testen van BI en DWH

Business Intelligence

• Wat is …


https://vimeo.com/138196031

https://vimeo.com/138196031

Audit

Datamart Analyse & Rapporten

Staging DWHBron

Een standaard DWH/BI landschap

11 september 2015

Microsoft

Oracle

AuditAudit

Rapport

Flat File

Rapporten

Analyse

Testen van BI en DWH7

Stermodel vs 4NF

Testen van BI en DWH 11 september 20158

Managementperceptie Testen van BI


Wat testen we waar?

Audit


Staging DWHBron


Microsoft

Oracle

AuditAudit

Rapport

Flat File

Rapporten

Analyse

Bepalen teststrategie

• Variatie bronnen

• Eigenaarschap

• Testbasis

• Begroten

• Bemensing


Bepalen teststrategie (2)

• Privacy

• Opvoeren testgevallen

• Opbouwen historie

• Omvang

• Performance


Audit Trail

Audit


Staging DWHBron

11 september 2015

Microsoft

Oracle

AuditAudit

Rapport

Flat File

Rapporten

Analyse


Audit Trail

• Controlelijsten (data kwaliteit)

• Voor “intern” gebruik (bv. ontwikkelaars, testers)

• Voor “extern” gebruik (bv. auditors, controllers)

• Herleidbaarheid van gepresenteerde data

• Performance Monitoring van het DWH


Pauze

Na de Pauze…

Testspecificatietechnieken


• Belang van testontwerptechnieken

• Onderbouwde invulling van de teststrategie: afgesproken

dekking op de afgesproken plaats

• Reproduceerbaar

• Gestandaardiseerd: testproces is onafhankelijk van persoon die

de testgevallen specificeert en uitvoert, is overdraagbaar en

onderhoudbaar

• Beter meetbaar, beter planbaar en beheersbaar

• Keuze voor “specifieke” testspecificatietechnieken bij Business

Intelligence Toepassingen en DWH?



• Kijkend naar het BI/DWH landschap:

• Interfaces, Gegevensstromen

• Beslissingen

• Betekenis

Syntactische testen, Semantische

Testen, Beslissingstabellen, Proces

Cyclus Testen, Data Combination

Testen, State Diagram, Exploratory

Testing



• Risico-inschatting (PRA) …

• Testbasis …

• Sjablonen …

• Testsituaties …

• Testdata …

• Fysiek maken…


Testautomatisering bij BI & DWH


Waar?

Testautomatisering?Welke Testtooling?DEVOPS?

Wat?

Wanneer?

Hoe?

Agile?Wie?

Waarmee?

WAAROM?

Waarom Testautomatisering?

• Kosten verlagen• Time to market te verkorten• Kwaliteit te verhogen


Testautomatiseringsaspecten


Testautomatisering Kostenaspect


Licentiekosten Aanschafkosten Manuren onderhoud Manuren training Manuren toolspecialist Manuren installatie Manuren configuratie

Testautomatisering Tijdsaspect


Doorlooptijden verkortenvan het testproces

Manuren onderhoudverlagen

Time to market verkorten Veel repeterende

handelingenvergemakkelijken

Testautomatisering Kwaliteitsaspect


Gestructureerde testaanpak Regressietesten DEVOPS & Agile testen Beheersbaarheid Onderhoudbaarheid

Continuous Quality Assurance



Agile

Jenkins

SAP TAOHP QC

Welke BI testtooling ?Worksoft

DEVOPS

TOSCA

Application Life cycle management

ASAPRRBT

TRICENTIS

HP QTP

Continuous Delivery

TMAP NEXTOpen source

Jira

Mobile

SIKULI

Multi Platform Testing

Selenium

Cucumber

maatwerk

Confluence


Testautomatiseringsaspecten


Must have 5

Belangrijk 4

Medium impact 3

Nice to have 2

Niet belangrijk 1

Niet relevant 0

5

4

1

5

1

2

5

45

5

4 5

2 4

2

3

24

4

5

2

4

2

5

Scorecard Testautomatisering

BI Testtooling?

• Vastleggen bevindingen• Vastleggen testgevallen• Maken van subsets en geanonimiseerde

datasets• Data kwaliteit bepalen• Data doorzetten• Testautomatisering van ETL Testen (backend)

en Informatieproducten (frontend)• Voortbrengingsproces bewaken (inchecken

code, review opmerkingen enz.)• Audit Trail


Audit


Staging DWHBron


Microsoft

Oracle

AuditAudit

Rapport

Flat File

Rapporten

Analyse

BI Testtooling

Worksoft

TOSCA

HP ALM

Jenkins JiraConfluence

Sikuli

Selenium

Cucumber

Motio CIWinscp

Soap UI

XMLspy

Oracle

Toad

DBfit

SQL Developer

Profielen van DWH/BI-testers

Audit


Staging DWHBron

11 september 2015

Microsoft

Oracle

AuditAudit

Rapport

Flat File

Rapporten

Analyse


Profielen van BI/DWH Testers

Testmanager

Testcoordinator

Test Analist ETL

Test Analist Reporting & AnalyticsTest Data Expert

Test Automation Expert

Omgevingsbeheerder

Profielen van BI/DWH-testers

Testrollen, een aantal voorbeelden:

• Test Manager

• Test Coördinator

• Test Analist ETL

• Test Analist Reporting & Analytics

• Test Automation Consultant

• Test Data Expert

• Testomgeving Beheerder

Invloeden: SCRUM/Agile, omvang van teams en

projecten, verdeling van werkzaamheden over bouwe

en test, projectteams en beheerorganisatie, etc.


Wrap up / Conclusie


• Kennis en Kunde groeit

• Testers kunnen al veel:

punten op de i

• Samenwerking

• Middelen: sjablonen en

tools (testautomatisering,

subsetting, anonimisering,

audit trail, bewaken BI

voortbrengingsproces)

• Data kwaliteit en Testen

• BI/DWH wordt “gewoon”:

groeiende behoefte.

Dank voor uw aandachtTot ziens!

Meer informatie

11 september 201545Testen van BI en DWH

Testnet Werkgroep Testen van Business Intelligence & DWH

https://goo.gl/R3YZgD

Ferran Rohaan +31(6)31765803 [email protected]

Brian Engel +31(6)30141327 [email protected]

Armando Dörsek +31(6)23054054 [email protected]

https://goo.gl/R3YZgD

Documents

Business Intelligence & Testing - Verified · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten, verdeling van werkzaamheden over bouwe