30
1 DGX, Paris, 16 septembre 2003 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France [email protected]

DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France [email protected]

Embed Size (px)

Citation preview

Page 1: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

1DGX, Paris, 16 septembre 2003

Data Grid ExplorerThème Réseaux

Pascale Vicat-Blanc Primet

LIP ENSLyon, France

[email protected]

Page 2: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

2DGX, Paris, 16 septembre 2003

Plan

Objectifs communauté réseaux

Emulation de réseaux

Cas d’étude: Ex: émulation d’un « nuage réseau de

grille» et étude des protocoles de transport.

Contribution à la construction de l’émulateur

Page 3: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

3DGX, Paris, 16 septembre 2003

Objectifs d’un grand instrument pour la communauté réseaux

Page 4: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

4DGX, Paris, 16 septembre 2003

Besoins des chercheurs en réseaux

Evolution d’ Internet: QoS, securité, mobilité sans fil, multicast, overlays…

De nouveaux protocoles et algorithmes sont développés

Comment développer et évaluer?

Page 5: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

5DGX, Paris, 16 septembre 2003

Solutions classiques

Vrai tesbed (locaux ou étendus): coûteux et difficiles à contrôler

Simulations (ns) : confinées à des protocoles et des algorithmes synthétiques

Emulation permet de faire interagir un simulateur avec de vrais réseaux opérationnels

Page 6: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

6DGX, Paris, 16 septembre 2003

Objectifs pour la communauté réseau

Un instrument d’étude

Multi-domaines hétérogènes à topologie connue À configuration modifiable À charge contrôlée À profils de trafic réalistes

Page 7: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

7DGX, Paris, 16 septembre 2003

Créer et étudier un nuage réseau « réaliste »

RéalisteConfigurableContrôlable

RéalisteConfigurableContrôlable

Page 8: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

8DGX, Paris, 16 septembre 2003

Un nuage réseau « réaliste »

Vrais protocoles d’extrémités

Vrais trafic concurrent Vrais équipements

Page 9: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

9DGX, Paris, 16 septembre 2003

Un nuage réseau « contrôlable »

Contrôle du trafic injecté

Contrôle de la topologie Contrôle des performances

Page 10: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

10DGX, Paris, 16 septembre 2003

Etudes envisagées (>RTP réseaux)

Plan Données Etude et expérimentation de nouveaux protocoles et

services• Transport Haute Performance (HS TCP)• Multicast• Multimédia• Mesures de performances de bout en bout

Plan Contrôle et gestion Ingénierie de trafic Déploiement par réseaux programmables Monitorage, configuration, administration Métrologie

Validation de protocoles et systèmes à grande échelle

Page 11: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

11DGX, Paris, 16 septembre 2003

Multi-domaines hétérogènes

. Réseaux d’accès réels:sous-réseaux d’accès très haut-débit sous-réseaux (locaux) d'accès filaires (xDSL) sous-réseaux d’accès étendus sans fil (802.11)

Domaines internes émulés backbone très haut-débit (ex: LIP RESO) émulation de G-MPLS (ENST) émulateur d’un sous-ensemble d’Internet

(LAAS)

Page 12: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

12DGX, Paris, 16 septembre 2003

Emulation de réseaux

Page 13: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

13DGX, Paris, 16 septembre 2003

References

The Network Simulator: ns-2, http://www.isi.edu/nsnam/ns/

L. Rizzo, "Dummynet: a simple approach to the evaluation of network protocols," ACM Computer Communication Review, vol. 27, 1997.

K. Fall, "Network Emulation in the VINT/NS Simulator," In Proceedings of 4th IEEE Symposium on Computers and Communications, July 1999.

Nist Net Home Page

Page 14: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

14DGX, Paris, 16 septembre 2003

Nistnet

Network emulation package that runs on Linux. Allows a single Linux PC set up as a router to emulate a wide variety of network conditionsPatch Gigabit (Marc Herbert – LIP)

Page 15: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

15DGX, Paris, 16 septembre 2003

Cas d’étude:

« nuage réseau » de grille et protocoles de transport

Page 16: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

16DGX, Paris, 16 septembre 2003

Contexte des grilles de calcul

Le “nuage” reseau permet l’interconnexion des ressources distribuées mais introduit des problématiques de performance, d’hétérogénéïté, de sécurité.

Comment maîtriser l’écart grandissant entre capacités théoriques et la qualité de service (délai, débit, fiabilité) obtenue de bout en bout ?

Page 17: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

17DGX, Paris, 16 septembre 2003

End to end performance

Combinaison de beaucoup de facteurs Problemes relatifs au réseau

Routing problems, leaky networks (networks with non-congestive packet loss), and excessive packet reordering

Problemes relatifs au protocol TCP TCP designed first and foremost to be robust and when

congestion is detected, TCP accommodates at the expense of reduced performance.

Problemes relatifs à la configuration TCP small buffer space or SACK improperly negotiated

Problemes relatifs aux end system: to the processor and bus speed, to the NIC with its associated driver;

Problemes liés aux applications small messages or pauses in the data flow

Page 18: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

18DGX, Paris, 16 septembre 2003

Plate-formes expérimentales

Plateformes locales:• Myrinet et Gigabit Ethernet • 80 processeurs + 80 ports Gigabit + 80 cartes

Gigabit Plate forme nationale Gigabit: VTHD Plate formes internationales Gigabit: DataTAG: Lyon-CERN-Chicago 1Gà 10Gb/s DataGRID/GEANT

EDF/Clamart

CEA/SACLAY

PRISM

SUNENSRESO/LIPNew router

New VTHD siteVTHD site

CERN

Starlight Chicago

1Gb/s experimental EDT link

Page 19: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

19DGX, Paris, 16 septembre 2003

DataTAG Testbed

r04gvaCisco7606

r04chiCisco7609 stm16

(DTag)

r05chi-JuniperM10

r06chi-Alcatel7770

r05gva-JuniperM10

r06gvaAlcatel7770

SURFNET

stm16(Colt)backup+projects

s01gvaExtreme S1i

w01gvaw02gvaw03gvaw04gvaw05gvaw06gvaw20gvav02gvav03gva

7x

w01chiw02chi

v10chiv11chiv12chiv13chi

s01chiExtreme S5i

8x

VTHD/INRIA

stm16(FranceTelecom)

Chicago Geneva

2x

ONS15454

Alcatel 1670 Alcatel 1670

SURFNETCESNET

ONS15454

stm64(GC)

CNAFGEANTcernh7

w03chiw04chiw05chi

3x 3x 2x

w02chi

1000baseSX

SDH/Sonet

1000baseT

10GbaseLX

w03

w06chi

w01bol

CCC tunnel

stm64

Edoardo Martelli

Page 20: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

20DGX, Paris, 16 septembre 2003

Etudes envisagées sur GridExplorer

Etude de protocoles de transport haute performance et à délai contrôlé en unicast en multicast

Calibrage outil d’estimation de la capacité hop by hop et du débit disponible d’un chemin (TraceRate)

Page 21: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

21DGX, Paris, 16 septembre 2003

EX: Etude Transport Multicast

1.  Quantifier l’impact des différents paramètres (nombre de récepteurs, débit, répartition, taille des fichiers, capacité des machines) sur les protocoles

 2.   Proposer et valider de nouveaux composants

flow aware par exemple ceux lies aux retransmissions, au controle de congestion, a la tolerance aux pannes, au partitionnements des recepteurs, au monitoring, a la gestion des groupes…

 

Page 22: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

22DGX, Paris, 16 septembre 2003

Contribution à la construction de GdX

RESO Réseaux HP : Myrinet, Geth Comm. sur liens très haut débit WAN Routeurs logiciels/actifs haute performanceLAAS

Génération de Trafic concurrent réalisteLIP6

MétrologieENST

Intégration d’équipements réels (L2/L3)INT

Outils de Validation de protocoles

Page 23: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

23DGX, Paris, 16 septembre 2003

Un nuage réseau « réaliste »

Vrais protocoles d’extrémités

Vrais trafic concurrent Vrais équipements

Liens haut débit

Page 24: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

24DGX, Paris, 16 septembre 2003

Noeud actif Tamanoir

Page 25: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

25DGX, Paris, 16 septembre 2003

Déploiement de services actifs

Service broker

Page 26: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

26DGX, Paris, 16 septembre 2003

Intégrer des ressources distribuées pour supporter les réseaux hautes performances

Utilise le projet LVS (Linux Virtual Server)

Machine frontale (Director) qui distribue les flux (TCP) /paquets (UDP)

Machines internes (Backend) qui déploient l’environnement d’execution et traite les paquest avec des services réseaux personnalisés

Page 27: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

27DGX, Paris, 16 septembre 2003

Intégrer des ressources distribuées pour supporter les réseaux hautes performances

Réseau interne hautes performances (Myrinet/GigaEth)

Stratégies d’équilibrage de charges entre backend pour répartir efficacement les flux à traiter à la volée

Tamanoir est interfacé avec IBP

Page 28: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

28DGX, Paris, 16 septembre 2003

Contribution à GRID Explorer

Equipe Validation de protocoles et de services

Ana Cavalli, Stephane Maag, Amel Mederreg, Elisangela Vieira, Dario

Vieira, Emmanuel Bayse

GET/INT

Page 29: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

29DGX, Paris, 16 septembre 2003

Contribution

Validation des systèmes à grand échelle par: la réalisation des modèles de validation transversaux

permettant de tester l’interopérabilité, application de ces modèles à la plate-forme

d’émulation, vérification de passage à l’échelle de ces modèles de

validation, support par des outils logiciels de la procédure de

validation, fourniture d’un support pour la réalisation

d ’expériences.

Page 30: DGX, Paris, 16 septembre 2003 1 Data Grid Explorer Thème Réseaux Pascale Vicat-Blanc Primet LIP ENS Lyon, France Pascale.Primet@ens-lyon.fr

30DGX, Paris, 16 septembre 2003

Conclusion/ Observations

La communauté réseaux utilise des émulateurs: Dummynet ou NistNet=> savoir faire, expertise=> LAAS, ENSICA, LIP, ENST…

Infrastructure :-Equipements réseau coûteux=> Solutions routeurs logiciels/prog.=> Partenariat avec équipementiers?

Beaucoup d’idées, beaucoup de solutions=>il faut cibler…=> hétérogénéïté vs haut débit