Mesurer les performances avec JMeter

Brooks ElliottBrooks Elliott

Mesurer la performance des applications avec

JMeter

Claude FalguièreAu Lyon JUG le 21 Décembre 2010

Performances et JMeter - Falguière 2

Copyright notice

● Vous êtes libre de :● Reproduire, distribuer et communiquer cette création au public● Modifier cette création

● Selon les conditions suivantes :● Paternité. Vous devez citer le nom de l'auteur original de la

manière indiquée par l'auteur de l'oeuvre ou le titulaire des droits qui vous confère cette autorisation (mais pas d'une manière qui suggérerait qu'ils vous soutiennent ou approuvent votre utilisation de l'oeuvre).

● Rien dans ce contrat ne diminue ou ne restreint le droit moral de l'auteur ou des auteurs.

http://creativecommons.org/licenses/by/3.0/


Claude Falguière

Consultante

Co-fondatrice Membre de l'équipe

@cfalguiere


User experience


0,5 s 1 s 10 s

Subjectif

Complexité supposéeOrdre d'affichageStabilité


Paul Foot

Paul Foot

Martineric

Supporter l'effortTenir la durée

Un marathon

ça se prépare !


S(t)imulation


Quels sont les risques à vérifier ? les critères à mesurer ?

Quels sont volumétries ? Les dimensionnements ?

Quels vont faire les utilisateurs en production ?

Le test de performance


Qui ? Quoi ?Où ? Quand ? Combien ? Comment ? Pourquoi ?

Quoi ? Combien?

La Représentativité des tests


Fréquent

ouVital

ouRisquéRecherche complexe

PaieCharges

ConsultationsMAJ employé

Qui ? Quoi ?

Fréquent

ouVital

ouRisqué


Combien ? Quand ? Ou ?

Quelle heure ?

Quel jour ?

Pics


Pourquoi ?

Les enjeux Les coûts


Temps de réponseetDisponibilité, StabilitéRobustesse VieillissementRésistance à l'effet TwitterConsommation de ressources

Les Critères de succès

GALERIEopWEG


JMeter


http://jakarta.apache.org/jmeter/

Projet Apache JakartaScript en XML et Script JVMExtensibleMultiprotocoleEnregistrement des scénarios WebGestion du cache et des cookies

Des outils


DémoConcepts de base


Test Plan

Workbench

Thread Group

Eléments exécutés lorsque l'on lance le plan de test

Nombre d'utilisateurs et d'itérations

Eléments Temporaires

L'IHM

Sampler

Listeners Visualisation des résultatsAction


Script

HTTP ProxyNavigateur

(1) Enregistrer

(3) Rejouer

(2) Variabiliser

Scripts HTTP


DémoEnregistrer un scénarioEt variabiliser


Les concepts

Logic Controller

Configuration

Sampler

Listeners

Emission des requêtes

Visualisation des résultats

Paramètres communs, variables, jeux de données

Bloc de contrôle


MesurerMesurerMesurer


Thread Group 1Thread Group 2

Ramp Up

Plateau Ramp Down

Profil de charge


Combien d 'utilisateurs ? Combien de temps ?Quel profil de charge ?

Quels scénarios?

Que veut on évaluer ?Quels sont les enjeux ?

Environnement requis ?Jeux de données?

Avoir une stratégie de test


Durée du test

Répéter → Aléas de mesure → Variabilité des données

Isoler le rampup → initialisations

Durer → Chargement des caches → Détecter les fuites


Des milliers de relevés

Quelques chiffres

Des exigences

Analyser et ValiderComprendre SynthétiserRestituer

SpécifierConcevoir

ImplémenterExécuter

4h1000

1 action /10 s

1 440 000 relevés

agréger


Moyenne 1,2s

La moyenne n'est pas un bon indicateur

0,5 s 1 s


Moyenne 1,2s 90%

sont < 3,5s

10%

La moyenne n'est pas un bon indicateur

0,5 s 1 s Rare

Inconscient Marquant


Histogram of ts

Duration

Fre

qu

en

cy

2 3 4 5 6

05

10

15

20

> data <- rnorm(100,2)+2

Cumulative histogram of ts

Duration

Fre

qu

en

cy

2 3 4 5 60

20

40

60

80

10

0

La statistique est votre ami


Cumulative histogram of ts

Duration

Fre

qu

en

cy

2 3 4 5 6

02

04

06

08

01

00

> summary(data) Min. 1st Qu. Median Mean 3rd Qu. Max. 1.779 3.203 3.834 3.840 4.483 5.966

> quantile(data,0.95) 95% 5.408672

Quantile 90%

SLA

Les quantiles et les SLA


DémoProfil et résultat


Quelques mauvais temps isolés

Temps très variables

Bimodal

Faire parler la distribution


Les biais de perception

Time

Dur

atio

n

0 20 40 60 80 100

23

45

6

Time

Dur

atio

n

0 20 40 60 80 100

01

23

45

6

OK

KO

K0

OK


Tiens au fait le critère ...

REQ-1234 La page d'accueil doit s'afficher en moins de 600 ms

Est ce qu'on parle bien de la même chose ?


Douter


Le résultat du test dépend totalement des scénarios définis

et de leur implémentation

Martineric

Biais

Garbage In → Garbage Out


Des milliers de relevés

Quelques chiffres

Des exigences

Analyser et ValiderComprendre Synthétiser

Restituer

SpécifierConcevoir

ImplémenterExécuter


Groupe 1 Groupe 2

Trouvez des biais qui rendront le résultat meilleur

Trouvez des biais qui rendront le résultat plus mauvais


Volumétries

Volumes trop faibles Volumes trop importants

Oublier les temps d'attentes

Requêtes moins coûteuses Requête plus coûteuses

Trop de requêtes

Avoir les bonnes volumétries

Monter trop vite en charge

Pas encore les ressources

Simplifier la navigation

Moins de requêtes

It ration tr s courtes é è

Trop de sessions


Jeux de données et cache

Mots cl s exactsé

Toujours les m mes mots cl sê é

Mots cl s g n riques (*)é é é

Trop de mots cl s diff rentsé é

1 seul résultat

Toujours trouvé dans le cache

Trop de résultats

Lessive le cache

Avoir la bonne structure de

données

R utiliser les m mes valeursé ê

Contention

Tests trop court avec cache

Cache vide


Gestion des erreurs

Ignorer les erreurs

Test tr s courtè

Ignorer les limites externes

Faux positifs

Pas le temps de voir les fuites

Faux négatifs

En bref, c'est pas facile !


DémoCompléter le scénario


Les concepts

Logic Controller

Configuration

Pre-Processor

Timers

Sampler

Post Processor

Assertions

Listeners

Préparation de données

Temps d'attente

Extraire des données du résultat

Vérifier le résultat

Jeux de données

Action

Visualisation


Désactiver les listeners coûteux → laisser seulement les agrégats

Ou option –non-gui et paramétrage par variablesGénère un fichier XML .jtl ou CSV

JMeter dans la vrai vie


Gérer la mémoire de JMeter et multi-instance si problème de charge Vérifier la cible, les scripts, les donnéesWarmup / Tir étalon / Tir en Charge



Valider le résultat ?Retester ? Confirmer les résultats Analyser et tester les hypothèses Isoler les facteurs Augmenter les niveaux de trace



Partager


Partager le processusComprendre les résultatsPartager les solutions ClientDev

OpsEtablir La confiance

dans le résultat


devops

Google User Groups - Devopsfr- Paris Devops- Lille Devops

Agile jusqu'à la production

Réconcilier Developpement et Opérations

Continuous Deploiement


Measure, Don't guess


Si vous avez un marteau

tout ressemble à un clou

Sic

Il faut faire des procédures stockées, Hibernate c'est pourri

Changez d'OS, Windows ça plante

tout le temps

Il faut remplacer Struts par Spring


Don't shoot in the dark !

Je ne me précipiterai pas sur mon EclipseJe ne me précipiterai pas sur mon EclipseJe ne me précipiterai pas sur mon EclipseJe ne me précipiterai pas sur mon EclipseJe ne me précipiterai pas sur mon EclipseJe ne me précipiterai pas sur mon EclipseJe ne me précipiterai pas sur mon Eclipse


Vous êtes iciVous êtes iciLa cibleLa cibleL'environnement de devL'environnement de dev


Comportement sous stress

Concurrence Ressources limitées

SaturationProblèmes de cohabitation

Individu Groupe Foule

Répétition


Combien ? Où ?

Round Trip


LatenceNavigateur Serveur

GET /

ACK

Dernier octet

Premier octet

Requête

Réponse

Latence


Navigateur

Combien ? Où ?

Temps d'affichage


Profilage In Browser

FireBugChrome Developer Tools

YSlow Google Page Speed AOL Page Test

Charles, Fiddler

HTTP Proxy

Analyse

Add-ons


DémoCharles et YSlow


Temps par tier

Temps par coucheHTTP Phases JSF Domaine JDBC

Combien ? Où ?


Exemple

HTTP 18sJSF RESTORE_VIEW 0sJSF APPLY_REQUEST_VALUES 0sJSF PROCESS_VALIDATIONS 0sJSF UPDATE_MODEL_VALUES 0sJSF INVOKE_APPLICATION 17sJSF RENDER_RESPONSE 0sAOP myapp.persistence 16s

P6Spy 500 requêtes durant la même période

Logger AOP sur myapplication.persistence.*myapp.persistence.contrat.Contrat.save() 8s

Exploitation

du log


Introspection J2EE

- Logs Hibernate- Access Log

- listener HTTP- listener phases JSF

- AOP - Perf4J

- P6SPy- Log4JDBC …

- InfraRed- PerformaSure

Par logsDrivers JDBC virtuels

Profilers Java EE


Améliorer


Pourquoi ?

David Reece

Où est passé le temps de réponse ?

Quels sont les composants impliqués ?

Quelles sont les informations que je veux obtenir ?


Comportement sous stress

Concurrence Ressources limitées

SaturationProblèmes de cohabitation

Individu Groupe Foule

Répétition


Optimisez vôtre temps

Lock/Attente en mnTime out en s ou mn

Service distant 200 msRequête SQL 50 msRéseau local 20 ms

GC en msAccès disque en ms

Exécution de code en ns


Tailles de boîtes

Ressources limitées

Saturation

Foule

Fuite

Attente Time-out


Les limites physiques

Charge (queue length) ou %CPUSwap In ou Mémoire disponibleUsage disque Perfmon, sysinternals

vmstat, iostat,Sysstat (sar)

TraceRoute, netstat, tcpdump, wireshark

TempsNombre de connexionsTaux d'erreur


Tailles de pools

Pool de connexions

JDBC

Pool de threads du

Web container

Workers Fuites

Taux Active / Total


Monitoring

Apache : module server-status

Java EE : JMX MBeans du serveur d'applications MBeans custom

Les monitor Jmeter Tomcat Custom


DémoTomcat et le Monitor


La mémoire virtuelleVia JMXGC Overhead ouTemps passé en GC / Uptime process

Via le système % CPUSwap In

Via le log-verbose:gc + GCViewer


Concurrence

Concurrence

Problèmes de multithreading

Groupe

Comportement instable

Verrous (Transactionnel, Synchronized)

Attentes

Thread DumpHeap Dump

+ MAT, JCA,

Health Center


Profilage

Individu Temps étalon et répartition

Nombre de requêtesTaille des pagesNombre de lignes de réponse

Ressources consomméesLogsProfilers

Mbeans JMX


Atteindre la lune


empreinte

Le test n'est qu'une simulation de la vrai vieS'entrainer

Détecter les défauts de montée en charge

Améliorer Définir la surveillance


Fonctionnalités Maintenabilité Robustesse Scalabilité Performance unitaire

Définir ses priorités

Performances et JMeter - Falguière 77Joachim S. Müller (retouchée)

Test sur étalonTest des contentionsTest de robustesseTest de scalabilité Test de vieillissement

Test qualifiant

Partir tôt

Ne pas rester bloqué sur la notion de représentativité


Tu n'aurais pas oublié un truc ?


Merci pour votre attention

Des questions ?

@cfalguiere

Technology

Mesurer les performances avec JMeter