Mesurer les performances avec JMeter

Brooks ElliottBrooks Elliott

Mesurer la performance des applications avec

JMeter

Claude FalguièreAu Lyon JUG le 21 Décembre 2010

Performances et JMeter - Falguière 2

Copyright notice

● Vous êtes libre de :● Reproduire, distribuer et communiquer cette création au public● Modifier cette création

● Selon les conditions suivantes :● Paternité. Vous devez citer le nom de l'auteur original de la

manière indiquée par l'auteur de l'oeuvre ou le titulaire des droits qui vous confère cette autorisation (mais pas d'une manière qui suggérerait qu'ils vous soutiennent ou approuvent votre utilisation de l'oeuvre).

● Rien dans ce contrat ne diminue ou ne restreint le droit moral de l'auteur ou des auteurs.

http://creativecommons.org/licenses/by/3.0/

Claude Falguière

Consultante

Co-fondatrice Membre de l'équipe

@cfalguiere

User experience

0,5 s 1 s 10 s

Subjectif

Complexité supposéeOrdre d'affichageStabilité

Paul Foot

Martineric

Supporter l'effortTenir la durée

Un marathon

ça se prépare !

S(t)imulation

Quels sont les risques à vérifier ? les critères à mesurer ?

Quels sont volumétries ? Les dimensionnements ?

Quels vont faire les utilisateurs en production ?

Le test de performance

Qui ? Quoi ?Où ? Quand ? Combien ? Comment ? Pourquoi ?

Quoi ? Combien?

La Représentativité des tests

Fréquent

ouVital

ouRisquéRecherche complexe

PaieCharges

ConsultationsMAJ employé

Qui ? Quoi ?

Fréquent

ouVital

ouRisqué

Combien ? Quand ? Ou ?

Quelle heure ?

Quel jour ?

Pourquoi ?

Les enjeux Les coûts

Temps de réponseetDisponibilité, StabilitéRobustesse VieillissementRésistance à l'effet TwitterConsommation de ressources

Les Critères de succès

GALERIEopWEG

JMeter

http://jakarta.apache.org/jmeter/

Projet Apache JakartaScript en XML et Script JVMExtensibleMultiprotocoleEnregistrement des scénarios WebGestion du cache et des cookies

Des outils

DémoConcepts de base

Test Plan

Workbench

Thread Group

Eléments exécutés lorsque l'on lance le plan de test

Nombre d'utilisateurs et d'itérations

Eléments Temporaires

Sampler

Listeners Visualisation des résultatsAction

Script

HTTP ProxyNavigateur

(1) Enregistrer

(3) Rejouer

(2) Variabiliser

Scripts HTTP

DémoEnregistrer un scénarioEt variabiliser

Les concepts

Logic Controller

Configuration

Sampler

Listeners

Emission des requêtes

Visualisation des résultats

Paramètres communs, variables, jeux de données

Bloc de contrôle

MesurerMesurerMesurer

Thread Group 1Thread Group 2

Ramp Up

Plateau Ramp Down

Profil de charge

Combien d 'utilisateurs ? Combien de temps ?Quel profil de charge ?

Quels scénarios?

Que veut on évaluer ?Quels sont les enjeux ?

Environnement requis ?Jeux de données?

Avoir une stratégie de test

Durée du test

Répéter → Aléas de mesure → Variabilité des données

Isoler le rampup → initialisations

Durer → Chargement des caches → Détecter les fuites

Des milliers de relevés

Quelques chiffres

Des exigences

Analyser et ValiderComprendre SynthétiserRestituer

SpécifierConcevoir

ImplémenterExécuter

4h1000

1 action /10 s

1 440 000 relevés

agréger

Moyenne 1,2s

La moyenne n'est pas un bon indicateur

0,5 s 1 s

Moyenne 1,2s 90%

sont < 3,5s

La moyenne n'est pas un bon indicateur

0,5 s 1 s Rare

Inconscient Marquant

Histogram of ts

Duration

2 3 4 5 6

> data <- rnorm(100,2)+2

Cumulative histogram of ts

Duration

2 3 4 5 60

La statistique est votre ami

Cumulative histogram of ts

Duration

2 3 4 5 6

> summary(data) Min. 1st Qu. Median Mean 3rd Qu. Max. 1.779 3.203 3.834 3.840 4.483 5.966

> quantile(data,0.95) 95% 5.408672

Quantile 90%

Les quantiles et les SLA

DémoProfil et résultat

Quelques mauvais temps isolés

Temps très variables

Bimodal

Faire parler la distribution

Les biais de perception

0 20 40 60 80 100

Tiens au fait le critère ...

REQ-1234 La page d'accueil doit s'afficher en moins de 600 ms

Est ce qu'on parle bien de la même chose ?

Douter

Le résultat du test dépend totalement des scénarios définis

et de leur implémentation

Martineric

Garbage In → Garbage Out

Des milliers de relevés

Quelques chiffres

Des exigences

Analyser et ValiderComprendre Synthétiser

Restituer

SpécifierConcevoir

ImplémenterExécuter

Groupe 1 Groupe 2

Trouvez des biais qui rendront le résultat meilleur

Trouvez des biais qui rendront le résultat plus mauvais

Volumétries

Volumes trop faibles Volumes trop importants

Oublier les temps d'attentes

Requêtes moins coûteuses Requête plus coûteuses

Trop de requêtes

Avoir les bonnes volumétries

Monter trop vite en charge

Pas encore les ressources

Simplifier la navigation

Moins de requêtes

It ration tr s courtes é è

Trop de sessions

Jeux de données et cache

Mots cl s exactsé

Toujours les m mes mots cl sê é

Mots cl s g n riques (*)é é é

Trop de mots cl s diff rentsé é

1 seul résultat

Toujours trouvé dans le cache

Trop de résultats

Lessive le cache

Avoir la bonne structure de

données

R utiliser les m mes valeursé ê

Contention

Tests trop court avec cache

Cache vide

Gestion des erreurs

Ignorer les erreurs

Test tr s courtè

Ignorer les limites externes

Faux positifs

Pas le temps de voir les fuites

Faux négatifs

En bref, c'est pas facile !

DémoCompléter le scénario

Les concepts

Logic Controller

Configuration

Pre-Processor

Timers

Sampler

Post Processor

Assertions

Listeners

Préparation de données

Temps d'attente

Extraire des données du résultat

Vérifier le résultat

Jeux de données

Action

Visualisation

Désactiver les listeners coûteux → laisser seulement les agrégats

Ou option –non-gui et paramétrage par variablesGénère un fichier XML .jtl ou CSV

JMeter dans la vrai vie

Gérer la mémoire de JMeter et multi-instance si problème de charge Vérifier la cible, les scripts, les donnéesWarmup / Tir étalon / Tir en Charge

Valider le résultat ?Retester ? Confirmer les résultats Analyser et tester les hypothèses Isoler les facteurs Augmenter les niveaux de trace

Partager le processusComprendre les résultatsPartager les solutions ClientDev

OpsEtablir La confiance

dans le résultat

devops

Google User Groups - Devopsfr- Paris Devops- Lille Devops

Agile jusqu'à la production

Réconcilier Developpement et Opérations

Continuous Deploiement

Measure, Don't guess

Si vous avez un marteau

tout ressemble à un clou

Il faut faire des procédures stockées, Hibernate c'est pourri

Changez d'OS, Windows ça plante

tout le temps

Il faut remplacer Struts par Spring

Don't shoot in the dark !

Je ne me précipiterai pas sur mon EclipseJe ne me précipiterai pas sur mon EclipseJe ne me précipiterai pas sur mon EclipseJe ne me précipiterai pas sur mon EclipseJe ne me précipiterai pas sur mon EclipseJe ne me précipiterai pas sur mon EclipseJe ne me précipiterai pas sur mon Eclipse

Vous êtes iciVous êtes iciLa cibleLa cibleL'environnement de devL'environnement de dev

Comportement sous stress

Concurrence Ressources limitées

SaturationProblèmes de cohabitation

Individu Groupe Foule

Répétition

Combien ? Où ?

Round Trip

LatenceNavigateur Serveur

Dernier octet

Premier octet

Requête

Réponse

Latence

Navigateur

Combien ? Où ?

Temps d'affichage

Profilage In Browser

FireBugChrome Developer Tools

YSlow Google Page Speed AOL Page Test

Charles, Fiddler

HTTP Proxy

Analyse

Add-ons

DémoCharles et YSlow

Temps par tier

Temps par coucheHTTP Phases JSF Domaine JDBC

Combien ? Où ?

Exemple

HTTP 18sJSF RESTORE_VIEW 0sJSF APPLY_REQUEST_VALUES 0sJSF PROCESS_VALIDATIONS 0sJSF UPDATE_MODEL_VALUES 0sJSF INVOKE_APPLICATION 17sJSF RENDER_RESPONSE 0sAOP myapp.persistence 16s

P6Spy 500 requêtes durant la même période

Logger AOP sur myapplication.persistence.*myapp.persistence.contrat.Contrat.save() 8s

Exploitation

du log

Introspection J2EE

- Logs Hibernate- Access Log

- listener HTTP- listener phases JSF

- AOP - Perf4J

- P6SPy- Log4JDBC …

- InfraRed- PerformaSure

Par logsDrivers JDBC virtuels

Profilers Java EE

Améliorer

Pourquoi ?

David Reece

Où est passé le temps de réponse ?

Quels sont les composants impliqués ?

Quelles sont les informations que je veux obtenir ?

Comportement sous stress

Concurrence Ressources limitées

SaturationProblèmes de cohabitation

Individu Groupe Foule

Répétition

Optimisez vôtre temps

Lock/Attente en mnTime out en s ou mn

Service distant 200 msRequête SQL 50 msRéseau local 20 ms

GC en msAccès disque en ms

Exécution de code en ns

Tailles de boîtes

Ressources limitées

Saturation

Attente Time-out

Les limites physiques

Charge (queue length) ou %CPUSwap In ou Mémoire disponibleUsage disque Perfmon, sysinternals

vmstat, iostat,Sysstat (sar)

TraceRoute, netstat, tcpdump, wireshark

TempsNombre de connexionsTaux d'erreur

Tailles de pools

Pool de connexions

Pool de threads du

Web container

Workers Fuites

Taux Active / Total

Monitoring

Apache : module server-status

Java EE : JMX MBeans du serveur d'applications MBeans custom

Les monitor Jmeter Tomcat Custom

DémoTomcat et le Monitor

La mémoire virtuelleVia JMXGC Overhead ouTemps passé en GC / Uptime process

Via le système % CPUSwap In

Via le log-verbose:gc + GCViewer

Concurrence

Problèmes de multithreading

Groupe

Comportement instable

Verrous (Transactionnel, Synchronized)

Attentes

Thread DumpHeap Dump

+ MAT, JCA,

Health Center

Profilage

Individu Temps étalon et répartition

Nombre de requêtesTaille des pagesNombre de lignes de réponse

Ressources consomméesLogsProfilers

Mbeans JMX

Atteindre la lune

empreinte

Le test n'est qu'une simulation de la vrai vieS'entrainer

Détecter les défauts de montée en charge

Améliorer Définir la surveillance

Fonctionnalités Maintenabilité Robustesse Scalabilité Performance unitaire

Définir ses priorités

Performances et JMeter - Falguière 77Joachim S. Müller (retouchée)

Test sur étalonTest des contentionsTest de robustesseTest de scalabilité Test de vieillissement

Test qualifiant

Partir tôt

Ne pas rester bloqué sur la notion de représentativité

Tu n'aurais pas oublié un truc ?

Merci pour votre attention

Des questions ?

@cfalguiere

Mesurer les performances avec JMeter

Technology

M831 – Mesurer et analyser les performances …p6.storage.canalblog.com/68/41/369219/21413113.pdf · 2012-12-06 · 3.3.8 Les ratios d’activité ... Le fait financier est aussi

mesurer le temps

Mesurer Bruno Maurer Mesurer la francophonie et identifier

SIG 2013 Conférence Francophone · -Très bon outil pour mesurer les performances d'affichage d'une ... •Si superposition avec les basemaps Esri, ... Jmeter -Définir un

Mesurer le ROI de ses actions webmarketing pour gagner en performances et en CA

Plan de notre intervention 2. Les différents types de …...Plan de notre intervention 4. Réalisation d'un test en direct avec Jmeter 4.1. Généralités 4.2. L'interface Jmeter

Formation continue Comment mesurer et gérer les ... · • Maîtriser les méthodes et outils pratiques de mesure et de contrôle de la performance • Analyser les performances

M831 – Mesurer et analyser les performances …storage.canalblog.com/68/41/369219/21413113.pdfM831 – Analyse financière -2007/08 Page 5 sur 95 1.2 - Le fait financier De l’origine

L’OPEN-SOURCE, UNE ALTERNATIVE VIABLE POUR LES … · •Robot Framework Tests Système •Jmeter •Selenium ... Framework Sikuli Appium Selenium Gherkin / Cucumber Cucumber-reporting

Mesurer… pour progresser

Maîtriser Apache JMeter...Présentationdesauteurs 3 technologiques, en tant qu’associé, architecte et expert technique senior sur les technologiesWebetCloud. De par son travail

ÉVALUATION DE LA PERFORMANCE SOCIALE : LES …prospera-microfinance.org/IMG/pdf/03-3-Lapenu.pdf · mesurer et renforcer les performances sociales des IMF. Cet article décrit ces

Mesurer la supraconductivité… - OdPF

Performances financières et objectifs des fonds de développement Les mesures objectives sont elles performantes? Permettent elles de bien mesurer les résultats

comment mesurer

Mesurer les performances énergétiques effectives

Comment mesurer une variation - …lewebpedagogique.com/.../2015/09/Comment-mesurer-une-variation.pdf · Comment mesurer une variation ? Auteur : Daniel ORLANDI Remarque 1 On utilisera

Methodologie, mesurer, tester,hypotheses

Performances 1 Évolution : Performance. Performances 2 Évolution : Mémoire

Ruban à mesurer