1

Performance Evaluation

Jean-Yves Le Boudec

http://ica1www.epfl.ch/perfeval/

2

De quoi s’agit-il ?

Problème:Évaluer la performance d’un système informatique ou de communications

SolutionsAnalyser le problème (facteurs, charge, métrique de performance)Proposer un ou plusieurs modèlesAnalyser le modèle par simulation ou théoriquement

Dans le cours nous étudionsles méthodes à utiliser en pratiqueles théories associéesdes exemples de travaux pratiques

3

Exemple 1: simulation de serveur web

Vous avez developpé un logiciel de gestion de serveur web. Vous voulez évaluer sa performance.

Pourquoi ?

4

Comment fonctionne l’outil que nous utiliserons (Surge)

Idea: find a stochastic model that represents user well User modelled as sequence of downloads, followed by “think

time”Tool can implement several “user equivalents”

Used to generate real work over TCP connections

5

Exemple de trace de simulation

6

Observations

La sortie de la simulation est aléatoire

Parce que le modèle est probabiliste

Il y a une période transitoire

Tout ceci est typique de n’importe quel modèle de simulationC’est relié à la théorie des Chaînes de Markov

7

Exemple de trace de simulation

8

Observations

Le système est non stationaireIl “explose”Tout ceci est typique de n’importe quel modèle de simulationC’est relié à la théorie des Chaînes de Markov

9

Traitement d’une simulation

Savoir si le système va tendre vers la stationaritéEn utilisant des résultats théoriques de stabilitéEx: une file d’attente: coeff. d’utilisation < 1

Supprimer les transitoires

Quantifier la précision de l’output (intervalle de confiance)

10

Results of 30 Independent Replications

11

Confidence Intervals

Mean, normal approx

Median

Mean, bootstrap

12

Exemple 2: L’Importance du Point de Vue

Women perform better than men [Weber-C11]

13

Exemple 2: L’Importance du Point de Vue

Women perform better than men – really ?

This is an example of “importance of the viewpoint” or conditioning must be done well or playing with ratios

14

L’Importance du Point de Vue

Vous voulez mesure l’impact d’une modification du logiciel de communication sur la performance d’un reseau de mobiles

Il nous faut définir un modèle de mobilitéExemple: random trip on city graph

15

City Section

16

Exemple simplifié

L’exemple le plus simple : random waypoint dans un rectangle:Mobile picks next waypoint Mn uniformly in area, independent of past and presentMobile picks next speed Vn uniformly in [vmin , vmax]

independent of past and presentMobile moves towards Mn at constant speed Vn

Mn-1

Mn

17

Problèmes avec ce modèle simple

Les distributions de la vitesse, de la position, des distances, etc. changent avec le temps

Distributions of speeds at times 0 s and 2000 s

Samples of location at times 0 s and 2000 sSample of instant speed for one and average of 100 users

18

Que s’est-il passé ?

Transitoires Différence de point de vue

“transition arbitraire” vs “instant arbitraire”

19

Pourquoi est-ce important ?

Exemple (véridique) : on veut évaluer un protocole en fonction de la mobilité

On compare static (uniforme) vs random wapyointOn trouve que mobile meilleur

Q. Find the bug !

A. dans le cas mobile, la distribution moyenne dans le temps des mobiles n’est pas uniforme – ils sont plus proches ?

Random waypoint

Static

20

Une Comparaison Juste Il faut comparer le cas statique et mobile en

1. Éliminant les transitoires du cas mobile2. En donnant la même distribution géographique au cas statique que la

distribution stationaire du cas mobile (obtenue par le calcul de Palm)

Random waypoint

Static, from uniform

Static, same node location as RWP

21

Exemple 3: “Patterns”

Quand on évalue la performance, des “patterns” reviennent souvent

Les connaître permet de gagner beaucoup de temps

22

Bottleneck

Temps de réponse en fonction du trafic offert

2 4 6 8 10Requests per Second

0.5

1

1.5

2

2.5

Mean Response Time in seconds

23

In Out

In = 5 kb/s pour chaque, out = ? In = 1000 kb/s pour chaque, out = ? Quel est l’optimal ?A: in=10 source 1, in=100 source 2

Effet “Réseau”

10

101000

1000

100

1000

900

100

1090

900

10

1090

24

In

Out

20 Mb/s20 Mb/s

Out

In

Congestion CollapseTravail inutile brûle des resources

25

Joe’s Online Shop

Online shop Sous haute charge: saturation Que feriez vous pour augmenter le nombre de transactions ?

26

Joe ajoute un serveur

Que s’est-il passé ?

Avant Après

27

Interprétation

Deux patternsBottleneck: le serveur (CPU) est le bottleneckCongestion collapse: le WLAN du shop s’effondre sous le trafic

Avant: le bottleneck empêche le congestion collapse en limitant le trafic

Après: le deuxième serveur engendre plus de trafic (inutile) – le congestion collapse se révèle

28

Exemple 4: Prévision Trafic US Sprint

29

Prévision avec Modèle SARIMA

30

Trafic EPFL

31

Conours de Prévision des Etudiants EPFL

Vraie valeur

gagnant

32

Conclusion

Le cours “Performance Evaluation” est une application pratique des cours de

ProgrammationProbabilitésRéseaux et Systèmes d’Information

Un composant essentiel pour comprendre les phénomènes et les méthodes des systèmes informatiques et de communication

http://ica1www.epfl.ch/perfeval/