Automatiser les tests des développements BI grâce à NBi

SQLSaturday 323 – Paris 2014

Automatiser les tests des

développements BI grâce à NBi

Cédric L. Charlier


Sponsors Gold


Sponsors Silver et Bronze


Agenda

Pourquoi automatiser les tests?

Tests de requêtes Sql/Mdx/Dax

Tests pour packages SSIS

Tests spécifiques à SSAS

Automatisation de la création de test-suites


Etat des pratiques

Réalise des développements BI

Intègre une activité de testing (hors power-users ou utilisateurs finals)

Teste davantage que les points-clés lors de chaque release

Possède une test-suite formelle à haute couverture

Possède une test-suite automatisée à haute couverture


Activités de tests

Ecriture d’une test-suite

Activité intellectuelle

Une itération

Exécution d’une test-suite

Activité manuelle

Multiples itérations


Pourquoi faut-il automatiser les tests?

1.0 1.1 1.2 1.3 1.4 1.5

Tem

ps n

écessaire

Release

Temps nécessaire pour l’exécution d’une test-suite

Manuelle

Automatisée

Croissance

exponentielle

Augmentation:

- d’objets à tester

- de regressions


Pourquoi n’automatisons-nous pas les

tests?

1.0 1.1 1.2 1.3 1.4 1.5

Tem

ps n

écessaire

Release

Temps nécessaire pour l’écriture d’une test-suite

Manuelle

Automatisée

Mur initial


Comment limiter le mur initial?

Définir l’effort de tests à automatiser

Utiliser des frameworks existants

C’est là qu’entre en jeu NBi!


Fils conducteurs de NBi

Pas de programmation/compilateur

Syntaxe Xml

Analyse détaillée lorsqu’un test échoue

Aide à la comparaison des résultats


Framework NBi

Open-Source

Pas de licences à payer

Accès au code-source

Maturité de 2,5 ans

Activement maintenu

Une release par trimestre

Support via forum

Télécharger sur http://nbi.codeplex.com

http://nbi.codeplex.com/


Agenda







Structure des tests

Fichier Xml

System-under-test

L’objet que l’on veut tester

Assert

Le test qu’on veut lui faire subir


Comparaison de résultats de queries

System-under-test Assert

Previous

release

Deux releases d’un

même data warehouse

(non-regression)

Cube et data

warehouseMDX

Solution Tabular vis-à-vis d’un

fichier de résultats connusDAX

…Ou toute autre combinaison …


Démo: comparaison de requêtes

Comparaison cube/base de données

opérationnelle

Bases

Comparaison cube/fichier plat

Connexions par défaut

Tolérance

Intervalles


Autres tests SQL/SSAS

Performance d’une requête

Exécuté en moins de x seconds

Gestion du cache

Syntaxe d’une requête


Démo: Intégrer avec SSRS

Récupérer la requête depuis

le fichier rdl

La base de données ReportServer

Définir les paramètres de la requête


Toujours plus de tests SQL/SSAS

Format de cellules dans un résultat

Expl: toutes les cellules ont bien maximum 3

chiffres après le séparateur de décimal (,)


Autres tests SQL/SSAS

Vérifier la logique par ligne d’un résultat

Expl: Calcul du prix total à partir du prix unitaire, de la quantité et d’un pourcentage de réduction.

La logique est appliqué à chaque ligne Si une ligne échoue le test est en échec.


Agenda







Démo SSIS (Setup/Cleanup)

Tester le statut de l’exécution d’un ETL

Tester les effets de l’exécution d’un ETL

(résultat)

Setup

Charger la table source

Vider la table de destination

Lancer l’ETL


Agenda







Tests spécifiques à SSAS (Membres)

Tests de membres d’une dimension

“GUSS” apparait bien comme membre de la

dimension “SQL User Group”

La dimension “SQL User Group” comprend plus

de 150 membres.

Tous les membres de cette dimension ont bien un

label compris entre 4 et 8 lettres …

Les membres de la hiérarchie “date” sont

ordonnés chronologiquement

…


Tests spécifiques à SSAS (Structure)

Tests de structure

Vérifier que cette dimension, hiérarchie, mesure, … est visible pour l’utilisateur final dans une perspective donnée.

Vérifier qu’il existe une relation entre tel groupe de mesure et telle dimension.


Agenda







Automatiser la création de test-suite

Certains tests (structure – membres) sont

très répétitifs

Il est possible d’automatiser la génération de

ces tests!

Genbi est distribué avec NBi


Principes de base de Genbi

Une liste de test-cases

Depuis un fichier CSV ou une requête SQL

Un template

Structure du test (balises xml)

Des emplacements où insérer les éléments du

test-case


Concepts de Genbi

Fichier

chargé

dans GenbiVariables à remplacer

par le contenu d’un

test-case


Démo de Genbi

Chargement de test-cases

Depuis un fichier CSV

Depuis une requête SQL

Choix du template

Génération du fichier de tests (.nbits)


Automatiser encore plus?

Utiliser des macros pour remplacer les

actions manuelles dans Genbi!

C’est possible avec le langage genbiL

Un fichier genbiL qui contient la liste des actions

Lancer Genbi avec comme paramètre le fichier

genbiL

On obtient notre test-suite!


Exemple de macro genbiL

Sujet Action paramètres


Démo de genbiL

Ligne de commande

Via l’interface graphique


Conclusions

Gain en automatisant les tests

De temps (Time-on-market)

De qualité

NBi

Supporte un très large panel de tests

Pas besoin de compilateur Syntaxe Xml

Bonne analyse des tests en échec

Open-Source

Possibilité d’automatiser la génération de tests (Genbi / genbiL)


Plus d’infos

Site web: http://nbi.codeplex.com

Téléchargement

Documentation

Bugs/Wishes list

Support

Blog: http://seddryck.wordpress.com

Twitter: @Seddryck

http://nbi.codeplex.com/

http://seddryck.wordpress.com/

https://twitter.com/Seddryck

Software

Automatiser les tests des développements BI grâce à NBi